Terminų žodynas

Konteksto lango manipuliavimas

Kas yra Konteksto lango manipuliavimas?

Konteksto lango manipuliavimas reiškia atakas, kuriomis tyčia veikiamas tekstas, kurį kalbos modelis apdoroja vienu metu, pavyzdžiui, paslėptais nurodymais dokumentuose, išgalvotomis ankstesnėmis pokalbio dalimis ar dideliais užpildo kiekiais, nustumiančiais pirminius nurodymus į antrą planą. Apsauga kyla aiškiai atskiriant patikimus nurodymus nuo išorinio turinio, ribojant ilgį, tikrinant įvestį ir agentams suteikiant kuo mažiau leidimų.

Kaip padeda KI.ordo

KI.ordo šablonas „DI ugniasienė: patikrinti įvestį“ gali būti pastatytas prieš agentą kaip subsrautas, kad iš anksto atfiltruotų įtartiną įvestį.

Sužinoti daugiau : Konteksto lango manipuliavimas

Temos

  • Saugumas
  • užklausos injekcija (prompt injection)
  • LLM

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją
← Visi terminai

Susiję terminai

Netiesioginė užklausos injekcija

Netiesioginės užklausos injekcijos (angl. indirect prompt injection) atveju manipuliuojantys nurodymai yra ne naudotojo įvestyje, o paslėpti turinyje, kurį DI sistema apdoroja pakeliui, pavyzdžiui, tinklalapiuose, el. laiškuose ar dokumentuose. Perskaitęs tokį turinį, agentas gali paslėptas komandas palaikyti tikromis užduotimis ir, pavyzdžiui, atskleisti duomenis. Apsaugos priemonės: išorinį turinį laikyti tik duomenimis, riboti leidimus, tikrinti įvestį ir reikalauti žmogaus patvirtinimo kritiniams veiksmams.

  • Saugumas
  • užklausos injekcija (prompt injection)
  • +1
Šablonas

DI ugniasienė

DI ugniasienė – tai apsauginis sluoksnis tarp naudotojų, duomenų šaltinių ir DI modelio. Ji tikrina įvestį dėl manipuliavimo bandymų, tokių kaip užklausos injekcija ar jailbreak, ir prieš perduodama toliau tikrina išvestį, pavyzdžiui, dėl konfidencialių duomenų ar nepageidaujamo turinio. Ji gali naudoti taisykles, klasifikavimo modelius ar antrą kalbos modelį. DI ugniasienė mažina riziką, bet nesuteikia visiškos apsaugos ir nepakeičia nei ribotų leidimų, nei testavimo.

  • Saugumas
  • užklausos injekcija (prompt injection)
  • +1
Šablonas

Token Smuggling

Tokenų slėpimas (angl. token smuggling) – jailbreak forma, kai nepageidaujami nurodymai užmaskuojami, pavyzdžiui, suskaidomi į fragmentus, perkoduojami ar parašomi panašiais simboliais, kad paprasti raktažodžių filtrai jų nepastebėtų, o kalbos modelis vis tiek suprastų jų prasmę. Apsauga apima įvesties normalizavimą prieš vertinant, turinio, o ne vien žodžių patikras, išvesties peržiūrą ir kuo mažesnių leidimų suteikimą DI agentams.

  • Saugumas
  • Jailbreaking
  • +1
Šablonas

Jailbreaking

Jailbreak – tai bandymai apeiti DI modelio saugos taisykles gudriai suformuluotomis užklausomis, kad jis sukurtų turinį ar atliktų veiksmus, kurių turėtų atsisakyti. Organizacijoms tai yra rizika, nes pokalbių robotas gali, pavyzdžiui, atskleisti konfidencialius nurodymus ar netinkamai atsakyti. Apsaugos priemonės: aiškūs sisteminiai nurodymai, įvesties ir išvesties tikrinimas, ribotos teisės, registravimas ir reguliarūs saugumo testai (red teaming).

  • Saugumas
  • piktnaudžiavimo prevencija
  • +1
Šablonas