SK
Prihlásiť saZačať
Slovník pojmov

Manipulácia kontextového okna

Čo je Manipulácia kontextového okna?

Manipulácia kontextového okna označuje útoky, ktoré zámerne ovplyvňujú text, ktorý jazykový model spracúva naraz, napríklad skrytými pokynmi v dokumentoch, vymyslenými skoršími časťami konverzácie alebo veľkým množstvom výplne, ktorá odsunie pôvodné pravidlá do pozadia. Ochranu zabezpečuje jasné oddelenie dôveryhodných pokynov od externého obsahu, limity dĺžky, kontroly vstupov a udeľovanie čo najmenšieho počtu oprávnení agentom.

Ako pomáha KI.ordo

Šablónu KI.ordo „AI firewall: skontrolovať vstup“ možno umiestniť pred agenta ako podpostup, aby vopred odfiltrovala podozrivé vstupy.

Zistiť viac : Manipulácia kontextového okna

Vhodné šablóny

Témy

  • Bezpečnosť
  • prompt injection
  • LLM

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

Nepriama prompt injection

Pri nepriamej prompt injection nie sú manipulatívne pokyny vo vstupe používateľa, ale skryté v obsahu, ktorý systém AI popri tom spracúva, napríklad na webových stránkach, v e-mailoch alebo dokumentoch. Keď agent takýto obsah prečíta, môže skryté príkazy pokladať za skutočné úlohy a napríklad prezradiť údaje. Ochrana zahŕňa striktné zaobchádzanie s externým obsahom ako s údajmi, obmedzenie oprávnení, kontrolu vstupov a vyžadovanie ľudského schválenia pri kritických akciách.

  • Bezpečnosť
  • prompt injection
  • +1
Šablóna

AI firewall

AI firewall je ochranná vrstva medzi používateľmi, zdrojmi údajov a modelom AI. Kontroluje vstupy z hľadiska pokusov o manipuláciu, ako sú prompt injection alebo jailbreaky, a pred odovzdaním ďalej kontroluje výstupy, napríklad na dôverné údaje alebo nežiaduci obsah. Môže používať pravidlá, klasifikačné modely alebo druhý jazykový model. AI firewall znižuje riziko, ale neposkytuje úplnú ochranu a nenahrádza obmedzené oprávnenia ani testovanie.

  • Bezpečnosť
  • prompt injection
  • +1
Šablóna

Token Smuggling

Token smuggling je forma jailbreakingu, pri ktorej sa nežiaduce pokyny maskujú, napríklad rozdelením na fragmenty, prekódovaním alebo zápisom podobne vyzerajúcimi znakmi, takže jednoduché filtre kľúčových slov ich prehliadnu, no jazykový model ich význam napriek tomu pochopí. Ochrana zahŕňa normalizáciu vstupov pred ich posúdením, kontroly založené na obsahu, a nie čisto na slovách, kontrolu výstupov a udeľovanie čo najmenšieho počtu oprávnení agentom AI.

  • Bezpečnosť
  • Jailbreaking
  • +1
Šablóna

Jailbreaking

Jailbreaking označuje pokusy obísť bezpečnostné pravidlá modelu AI šikovne formulovanými vstupmi tak, aby vytvoril obsah alebo vykonal akcie, ktoré má odmietnuť. Pre organizácie je to riziko, pretože chatbot by mohol napríklad prezradiť dôverné pokyny alebo reagovať nevhodne. Ochranné opatrenia zahŕňajú jasné systémové pokyny, kontrolu vstupov a výstupov, obmedzené oprávnenia, protokolovanie a pravidelné bezpečnostné testy (red teaming).

  • Bezpečnosť
  • prevencia zneužitia
  • +1
Šablóna