LV
PieteiktiesSākt tagad
Glosārijs

Jailbreaking

Kas ir Jailbreaking?

Jailbreaking apzīmē mēģinājumus apiet MI modeļa drošības noteikumus ar viltīgi formulētiem ievaddatiem, lai tas radītu saturu vai veiktu darbības, no kurām tam būtu jāatsakās. Organizācijām tas ir risks, jo tērzēšanas robots, piemēram, varētu atklāt konfidenciālus norādījumus vai atbildēt nepiemēroti. Aizsardzības pasākumi ir skaidri sistēmas norādījumi, ievaddatu un izvaddatu pārbaude, ierobežotas atļaujas, žurnālēšana un regulāra drošības testēšana (red teaming).

Kā palīdz KI.ordo

KI.ordo gatavās veidnes MI ugunsmūrim un tērzēšanas robota drošības auditam palīdz pamanīt aizdomīgus ievaddatus un pārbaudīt savu aģentu norādījumus, vai tajos nav vājo vietu.

Uzzināt vairāk : Jailbreaking

Atbilstošas veidnes

Tēmas

  • Drošība
  • Ļaunprātīgas izmantošanas novēršana
  • LLM

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo
← Visi termini

Saistītie termini

Netiešā uzvedņu injekcija

Netiešā uzvedņu injekcijā manipulatīvi norādījumi nav lietotāja ievaddatos, bet paslēpti saturā, ko MI sistēma apstrādā ceļā, piemēram, tīmekļa lapās, e-pastos vai dokumentos. Kad aģents nolasa šādu saturu, tas slēptās komandas var palaist garām kā īstus uzdevumus un, piemēram, izpaust datus. Aizsardzības pasākumi ir ārēja satura stingra uzskatīšana par datiem, atļauju ierobežošana, ievaddatu pārbaude un cilvēka apstiprinājuma prasīšana kritiskām darbībām.

  • Drošība
  • Uzvedņu injekcija
  • +1
Veidne

MI ugunsmūris

MI ugunsmūris ir aizsargslānis starp lietotājiem, datu avotiem un MI modeli. Tas pārbauda ievaddatus, vai nav manipulācijas mēģinājumu, piemēram, uzvedņu injekcijas vai jailbreak, un pirms nodošanas tālāk pārbauda izvaddatus, piemēram, vai tajos nav konfidenciālu datu vai nevēlama satura. Tas var izmantot noteikumus, klasifikācijas modeļus vai otru valodas modeli. MI ugunsmūris mazina risku, bet nenodrošina pilnīgu aizsardzību un neaizstāj ne ierobežotas atļaujas, ne testēšanu.

  • Drošība
  • Uzvedņu injekcija
  • +1
Veidne

MI sarkanā komanda (red teaming)

MI sarkanā komanda (red teaming) ir strukturēta MI sistēmas pārbaude no potenciālu uzbrucēju vai ļaunprātīgas izmantošanas skatpunkta. Speciālisti kontrolēti pārbauda, vai tērzēšanas robots atklāj konfidenciālus norādījumus, vai to var pamudināt uz nevēlamu uzvedību, vai tas sniedz nepatiesus faktus vai atklāj datus. Konstatējumi palīdz uzlabot norādījumus, filtrus un atļaujas. Tērzēšanas robota drošības audits ir vieglāka forma: tas novērtē konfigurāciju un sarunu piemērus pret zināmām riska jomām, piemēram, OWASP Top 10 LLM lietojumprogrammām.

  • MI drošība
  • Drošības testēšana
  • +1
Veidne

Sistēmas uzvednes izgūšana

Sistēmas uzvednes izgūšana apzīmē mēģinājumus panākt, lai tērzēšanas robots vai MI aģents atklātu savus slēptos sistēmas norādījumus. Ja šāds mēģinājums izdodas, rezultātu sauc par uzvednes noplūdi: izgūšana ir uzbrukums, noplūde ir sekas. Efektīva aizsardzība sākas ar to, ka paroles, atslēgas un konfidenciāli noteikumi netiek iekļauti norādījumos un tiek pieņemts, ka tie var kļūt publiski; ievades pārbaudes un regulāra testēšana nodrošina papildu aizsardzību.

  • Drošība
  • Uzvednes noplūde
  • +1
Veidne