Glosārijs

Datu izsūkšana

Kas ir Datu izsūkšana?

Datu izsūkšana ir datu neatļauta pārsūtīšana ārpus sistēmas. MI lietojumprogrammās tā var notikt, ja tērzēšanas robots vai aģents ar viltotiem ievaddatiem vai sagatavotu saturu — piemēram, tīmekļa lapā, ko tas lasa — tiek pamudināts atklāt vai pārsūtīt konfidenciālu informāciju. Aizsardzība ietver minimālas piekļuves tiesības, ievaddatu pārbaudes, izejošo savienojumu ierobežojumus un atbilžu uzraudzību.

Kā palīdz KI.ordo

KI.ordo veidni „MI ugunsmūris” var ievietot pirms aģenta kā apakšplūsmu, un tā aiztur ievaddatus, kas, piemēram, mēģina iegūt sistēmas norādījumus vai datus.

Uzzināt vairāk : Datu izsūkšana

Tēmas

  • MI drošība
  • datu aizsardzība
  • uzvedņu injekcija

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo
← Visi termini

Saistītie termini

MI ugunsmūris

MI ugunsmūris ir aizsargslānis starp lietotājiem, datu avotiem un MI modeli. Tas pārbauda ievaddatus, vai nav manipulācijas mēģinājumu, piemēram, uzvedņu injekcijas vai jailbreak, un pirms nodošanas tālāk pārbauda izvaddatus, piemēram, vai tajos nav konfidenciālu datu vai nevēlama satura. Tas var izmantot noteikumus, klasifikācijas modeļus vai otru valodas modeli. MI ugunsmūris mazina risku, bet nenodrošina pilnīgu aizsardzību un neaizstāj ne ierobežotas atļaujas, ne testēšanu.

  • Drošība
  • Uzvedņu injekcija
  • +1
Veidne

Netiešā uzvedņu injekcija

Netiešā uzvedņu injekcijā manipulatīvi norādījumi nav lietotāja ievaddatos, bet paslēpti saturā, ko MI sistēma apstrādā ceļā, piemēram, tīmekļa lapās, e-pastos vai dokumentos. Kad aģents nolasa šādu saturu, tas slēptās komandas var palaist garām kā īstus uzdevumus un, piemēram, izpaust datus. Aizsardzības pasākumi ir ārēja satura stingra uzskatīšana par datiem, atļauju ierobežošana, ievaddatu pārbaude un cilvēka apstiprinājuma prasīšana kritiskām darbībām.

  • Drošība
  • Uzvedņu injekcija
  • +1
Veidne

Uzvednes noplūde

Uzvednes noplūde nozīmē MI sistēmas iekšējo norādījumu netīšu izpaušanu, piemēram, kad tērzēšanas robots atklāj savu sistēmas uzvedni atbildē uz atjautīgi formulētu pieprasījumu. Tā kļūst problēma, ja šajos norādījumos ir biznesa loģika, iekšēja informācija vai pat piekļuves dati. OWASP saraksts lietojumprogrammām uz lielo valodas modeļu bāzes šo risku nosauc tieši. Visefektīvākais aizsardzības līdzeklis ir rakstīt norādījumus tā, it kā tie varētu kļūt publiski, tajos nekad neglabāt noslēpumus un pārbaudīt arī izvaddatus.

  • MI drošība
  • sistēmas uzvedne
  • +1
Veidne

LLM drošība

LLM drošība aptver visus pasākumus, kas aizsargā uz lielajiem valodas modeļiem balstītas lietojumprogrammas pret ļaunprātīgu izmantošanu, datu noplūdi un nevēlamu uzvedību. Tipiski riski ir uzvedņu injekcija, konfidenciālu norādījumu vai datu izpaušana un aģenti ar pārmērīgām atļaujām. Aizsardzību nodrošina vairāki slāņi: skaidri norādījumi, ierobežotas tiesības, ievaddatu un izvaddatu pārbaudes, MI ugunsmūri, red teaming un regulāri auditi.

  • drošība
  • valodas modeļi
  • +1
Veidne