Fogalomtár

Rendszerprompt-kinyerés

Mi a(z) Rendszerprompt-kinyerés?

A rendszerprompt-kinyerés olyan kísérleteket jelent, amelyekkel egy csevegőrobotot vagy MI-ügynököt rávesznek rejtett rendszerutasításai felfedésére. Ha a kísérlet sikerül, az eredményt prompt leakingnek nevezik: a kinyerés a támadás, a kiszivárgás a következmény. A hatékony védelem azzal kezdődik, hogy a jelszavakat, kulcsokat és bizalmas szabályokat kihagyjuk az utasításokból, és számolunk azzal, hogy nyilvánossá válhatnak; a bemenetek ellenőrzése és a rendszeres tesztelés további védelmet nyújt.

Így segít a KI.ordo

A KI.ordo „Chatbot-biztonsági audit” sablonja az ügynök utasításait olyan kockázatokra vizsgálja, mint a kiszivárgott rendszerutasítások, és ártalmatlan önteszt-kérdéseket ad.

További információ : Rendszerprompt-kinyerés

Témák

  • Biztonság
  • Prompt leaking
  • Chatbots

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása
← Minden fogalom

Kapcsolódó fogalmak

Prompt leaking

A prompt leaking egy MI-rendszer belső utasításainak nem szándékos kiszivárogtatását jelenti, például amikor egy csevegőrobot egy ügyesen megfogalmazott kérésre felfedi a rendszerpromptját. Ez akkor válik problémává, ha az utasítások üzleti logikát, belső információkat vagy akár hozzáférési adatokat tartalmaznak. Az LLM-alkalmazásokra vonatkozó OWASP-lista kifejezetten megnevezi ezt a kockázatot. A leghatékonyabb védelem az, ha az utasításokat úgy írjuk meg, mintha nyilvánosságra kerülhetnének, soha nem tárolunk bennük titkokat, és a kimeneteket is ellenőrizzük.

  • MI-biztonság
  • rendszerprompt
  • +1
Sablon

Jailbreaking

A jailbreaking olyan kísérleteket jelent, amelyekkel ügyesen megfogalmazott bemenetekkel megkerülik egy MI-modell biztonsági szabályait, hogy olyan tartalmat állítson elő vagy olyan műveletet hajtson végre, amelyet el kellene utasítania. A szervezetek számára ez kockázat, mert egy chatbot például bizalmas utasításokat fedhet fel, vagy nem megfelelően reagálhat. A védelem eszközei: egyértelmű rendszerutasítások, a be- és kimenetek átvizsgálása, korlátozott jogosultságok, naplózás és rendszeres biztonsági tesztek (red teaming).

  • Biztonság
  • visszaélés-megelőzés
  • +1
Sablon

Chatbot biztonsági auditja

A chatbot biztonsági auditja annak strukturált vizsgálata, hogy egy MI-chatbot megfelelően védi-e a bizalmas adatokat, belső utasításait és cselekvési jogosultságait. Többek között a prompt injectionnel szembeni sebezhetőséget, az információk nem szándékos kiszivárgását és az eszközökhöz való túl széles hozzáférést vizsgálja – gyakran az LLM-alkalmazásokra vonatkozó OWASP Top 10 alapján. Az eredmény egy jelentés kockázati területenkénti értékeléssel és konkrét intézkedésekkel.

  • biztonság
  • audit
  • +1
Sablon

OWASP LLM Top 10

Az OWASP Top 10 for LLM Applications a nagy nyelvi modellekre épülő alkalmazások legfontosabb biztonsági kockázatainak listája, amelyet az OWASP GenAI Security Project ad ki. A jelenlegi, 2026-os kiadás 2026 augusztusában jelent meg (2026. októberi állapot szerint), és a következőket tartalmazza: prompt injection, érzékeny információk kiszivárgása, túlzott ágensképesség (excessive agency), ellátási lánc, adat- és modellmérgezés, korlátlan erőforrás-felhasználás, félretájékoztatás, rejtett kontextus kiszivárgása, vektor- és beágyazási gyengeségek, valamint a kimenetek nem megfelelő kezelése. Ellenőrzőlistaként szolgál a fejlesztéshez és az auditokhoz.

  • biztonság
  • szabvány
  • +1
Sablon