Terminų žodynas

Priešiškasis mašininis mokymasis

Kas yra Priešiškasis mašininis mokymasis?

Priešiškasis mašininis mokymasis tiria, kaip DI modelius galima suklaidinti tyčia manipuliuotomis įvestimis ar mokymo duomenimis ir kaip juos apsaugoti. Gerai žinomi pavyzdžiai – vos pastebimi vaizdo pakeitimai, apverčiantys klasifikaciją, arba užnuodyti mokymo duomenys. Ši tema organizacijoms tampa svarbi, kai tik DI padeda priimti su saugumu susijusius sprendimus. Atsakomosios priemonės – atsparus mokymas, įvesties patikros, stebėsena ir reguliarūs saugumo testai.

Temos

DI saugumas
Atsparumas
Apsauga nuo grėsmių

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją

← Visi terminai

Susiję terminai

Modelio atsparumas

Modelio atsparumas apibūdina, kaip patikimai DI modelis veikia, kai įvestis yra triukšminga, neišsami, neįprasta ar tyčia manipuliuojama. Atsparus modelis vis tiek pateikia stabilius rezultatus, pavyzdžiui, atpažįsta vaizdus prastu apšvietimu arba kalbos modelis susidoroja su rašybos klaidomis. Atsparumas vertinamas stresiniais testais, įvairiais mokymo duomenimis ir bandymais apgauti modelį, o ypač svarbus jis saugumui kritinėse srityse.

patikimumas
modelio kokybė
+1

DI raudonoji komanda

DI raudonoji komanda (red teaming) – tai struktūruotas DI sistemos tyrimas iš galimų užpuolikų ar piktnaudžiavimo perspektyvos. Specialistai kontroliuojamai tikrina, ar pokalbių robotas neatskleidžia konfidencialių nurodymų, ar jo negalima priversti elgtis nepageidaujamai, ar jis nepateikia klaidingų faktų ir neatskleidžia duomenų. Išvados padeda pagerinti nurodymus, filtrus ir leidimus. Pokalbių roboto saugumo auditas yra lengvesnė forma: jis vertina konfigūraciją ir pavyzdinius pokalbius pagal žinomas rizikos sritis, pavyzdžiui, OWASP Top 10 LLM programoms.

DI saugumas
Saugumo testavimas
+1

Šablonas

LLM sauga

LLM sauga apima visas priemones, saugančias didelių kalbos modelių pagrindu sukurtas programas nuo piktnaudžiavimo, duomenų nutekėjimo ir nepageidaujamo elgesio. Tipinė rizika: užklausos injekcija, konfidencialių nurodymų ar duomenų atskleidimas ir agentai su pernelyg dideliais leidimais. Apsauga kyla iš kelių sluoksnių: aiškių nurodymų, apribotų teisių, įvesties ir išvesties patikrų, DI ugniasienių, red teaming ir reguliarių auditų.

saugumas
kalbos modeliai
+1

Šablonas

Mokymo duomenys

Mokymo duomenys – pavyzdžiai, iš kurių DI modelis mokosi dėsningumų: dideli tekstų rinkiniai kalbos modeliams, pažymėti vaizdai vaizdų modeliams. Jų kokybė, įvairovė ir naujumas daugiausia lemia, kaip patikimas ir teisingas bus modelis ir kokios šviežios bus jo žinios. Organizacijoms taip pat svarbu, ar tiekėjas jų įvestus klientų duomenis naudoja tolesniam mokymui.

Duomenys
Training
+1