LV
PieteiktiesSākt tagad
Glosārijs

Netiešā uzvedņu injekcija

Kas ir Netiešā uzvedņu injekcija?

Netiešā uzvedņu injekcijā manipulatīvi norādījumi nav lietotāja ievaddatos, bet paslēpti saturā, ko MI sistēma apstrādā ceļā, piemēram, tīmekļa lapās, e-pastos vai dokumentos. Kad aģents nolasa šādu saturu, tas slēptās komandas var palaist garām kā īstus uzdevumus un, piemēram, izpaust datus. Aizsardzības pasākumi ir ārēja satura stingra uzskatīšana par datiem, atļauju ierobežošana, ievaddatu pārbaude un cilvēka apstiprinājuma prasīšana kritiskām darbībām.

Kā palīdz KI.ordo

KI.ordo piedāvā gatavu MI ugunsmūra veidni, ko var ievietot pirms aģenta kā papildu pārbaudes slāni, piemēram, ja saturs nonāk caur tīmekļa lapas lasīšanas rīku.

Uzzināt vairāk : Netiešā uzvedņu injekcija

Atbilstošas veidnes

Tēmas

  • Drošība
  • Uzvedņu injekcija
  • Aģenti

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo
← Visi termini

Saistītie termini

MI ugunsmūris

MI ugunsmūris ir aizsargslānis starp lietotājiem, datu avotiem un MI modeli. Tas pārbauda ievaddatus, vai nav manipulācijas mēģinājumu, piemēram, uzvedņu injekcijas vai jailbreak, un pirms nodošanas tālāk pārbauda izvaddatus, piemēram, vai tajos nav konfidenciālu datu vai nevēlama satura. Tas var izmantot noteikumus, klasifikācijas modeļus vai otru valodas modeli. MI ugunsmūris mazina risku, bet nenodrošina pilnīgu aizsardzību un neaizstāj ne ierobežotas atļaujas, ne testēšanu.

  • Drošība
  • Uzvedņu injekcija
  • +1
Veidne

Jailbreaking

Jailbreaking apzīmē mēģinājumus apiet MI modeļa drošības noteikumus ar viltīgi formulētiem ievaddatiem, lai tas radītu saturu vai veiktu darbības, no kurām tam būtu jāatsakās. Organizācijām tas ir risks, jo tērzēšanas robots, piemēram, varētu atklāt konfidenciālus norādījumus vai atbildēt nepiemēroti. Aizsardzības pasākumi ir skaidri sistēmas norādījumi, ievaddatu un izvaddatu pārbaude, ierobežotas atļaujas, žurnālēšana un regulāra drošības testēšana (red teaming).

  • Drošība
  • Ļaunprātīgas izmantošanas novēršana
  • +1
Veidne

LLM drošība

LLM drošība aptver visus pasākumus, kas aizsargā uz lielajiem valodas modeļiem balstītas lietojumprogrammas pret ļaunprātīgu izmantošanu, datu noplūdi un nevēlamu uzvedību. Tipiski riski ir uzvedņu injekcija, konfidenciālu norādījumu vai datu izpaušana un aģenti ar pārmērīgām atļaujām. Aizsardzību nodrošina vairāki slāņi: skaidri norādījumi, ierobežotas tiesības, ievaddatu un izvaddatu pārbaudes, MI ugunsmūri, red teaming un regulāri auditi.

  • drošība
  • valodas modeļi
  • +1
Veidne

OWASP LLM Top 10

OWASP Top 10 lielo valodas modeļu lietojumprogrammām ir svarīgāko drošības risku saraksts lietojumprogrammās, kas balstītas uz lielajiem valodas modeļiem, ko publicējis OWASP GenAI Security Project. Pašreizējais 2026. gada izdevums iznāca 2026. gada augustā (stāvoklis uz 2026. gada oktobri) un aptver: uzvednes injekciju, sensitīvas informācijas izpaušanu, pārmērīgu aģenta rīcības brīvību, piegādes ķēdi, datu un modeļu saindēšanu, neierobežotu resursu patēriņu, dezinformāciju, slēpta konteksta atklāšanu, vektoru un iegultņu vājās vietas un nepareizu izvaddatu apstrādi. Tas kalpo kā kontrolsaraksts izstrādei un auditiem.

  • drošība
  • standarts
  • +1
Veidne