HU
BejelentkezésKezdje el most
Fogalomtár

Kontextusablak-manipuláció

Mi a(z) Kontextusablak-manipuláció?

A kontextusablak-manipuláció olyan támadásokat jelent, amelyek szándékosan befolyásolják azt a szöveget, amelyet egy nyelvi modell egyszerre feldolgoz, például dokumentumokba rejtett utasításokkal, kitalált korábbi beszélgetésrészekkel vagy nagy mennyiségű töltelékszöveggel, amely háttérbe szorítja az eredeti szabályokat. A védelem a megbízható utasítások és a külső tartalom egyértelmű szétválasztásából, hosszkorlátokból, bemeneti ellenőrzésekből és abból adódik, hogy az ügynökök a lehető legkevesebb jogosultságot kapják.

Így segít a KI.ordo

A KI.ordo „MI-tűzfal: bemenet ellenőrzése” sablonja alfolyamatként egy ügynök elé helyezhető, hogy előre kiszűrje a gyanús bemeneteket.

További információ : Kontextusablak-manipuláció

Kapcsolódó sablonok

Témák

  • Biztonság
  • prompt injection
  • LLM

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása
← Minden fogalom

Kapcsolódó fogalmak

Közvetett prompt injection

A közvetett prompt injection esetén a manipulatív utasítások nem a felhasználó bemenetében vannak, hanem olyan tartalomba rejtve, amelyet az MI-rendszer menet közben dolgoz fel, például weboldalakba, e-mailekbe vagy dokumentumokba. Ha egy ügynök ilyen tartalmat olvas, a rejtett parancsokat valódi feladatnak vélheti, és például adatokat adhat ki. A védelem eszközei: a külső tartalom szigorúan adatként kezelése, a jogosultságok korlátozása, a bemenetek átvizsgálása és emberi jóváhagyás megkövetelése a kritikus műveleteknél.

  • Biztonság
  • prompt injection
  • +1
Sablon

MI-tűzfal

Az MI-tűzfal védőréteg a felhasználók, az adatforrások és egy MI-modell között. Átvizsgálja a bemeneteket manipulációs kísérletek – például prompt injection vagy jailbreak – után, és továbbadás előtt ellenőrzi a kimeneteket, például bizalmas adatok vagy nem kívánt tartalom szempontjából. Szabályokat, osztályozó modelleket vagy egy második nyelvi modellt használhat. Az MI-tűzfal csökkenti a kockázatot, de nem nyújt teljes védelmet, és nem helyettesíti sem a korlátozott jogosultságokat, sem a tesztelést.

  • Biztonság
  • prompt injection
  • +1
Sablon

Token Smuggling

A token smuggling a jailbreakelés egyik formája, amelyben a nemkívánatos utasításokat elrejtik, például töredékekre bontják, átkódolják vagy hasonlóan kinéző karakterekkel írják, így az egyszerű kulcsszószűrők nem veszik észre őket, a nyelvi modell viszont mégis érti a jelentésüket. A védelemhez tartozik a bemenetek normalizálása értékelésük előtt, a tartalmi – és nem pusztán szóalapú – ellenőrzés, a kimenetek felülvizsgálata, valamint az MI-ügynökök minél kevesebb jogosultsággal való felruházása.

  • Biztonság
  • Jailbreaking
  • +1
Sablon

Jailbreaking

A jailbreaking olyan kísérleteket jelent, amelyekkel ügyesen megfogalmazott bemenetekkel megkerülik egy MI-modell biztonsági szabályait, hogy olyan tartalmat állítson elő vagy olyan műveletet hajtson végre, amelyet el kellene utasítania. A szervezetek számára ez kockázat, mert egy chatbot például bizalmas utasításokat fedhet fel, vagy nem megfelelően reagálhat. A védelem eszközei: egyértelmű rendszerutasítások, a be- és kimenetek átvizsgálása, korlátozott jogosultságok, naplózás és rendszeres biztonsági tesztek (red teaming).

  • Biztonság
  • visszaélés-megelőzés
  • +1
Sablon