HU
BejelentkezésKezdje el most
Fogalomtár

Közvetett prompt injection

Mi a(z) Közvetett prompt injection?

A közvetett prompt injection esetén a manipulatív utasítások nem a felhasználó bemenetében vannak, hanem olyan tartalomba rejtve, amelyet az MI-rendszer menet közben dolgoz fel, például weboldalakba, e-mailekbe vagy dokumentumokba. Ha egy ügynök ilyen tartalmat olvas, a rejtett parancsokat valódi feladatnak vélheti, és például adatokat adhat ki. A védelem eszközei: a külső tartalom szigorúan adatként kezelése, a jogosultságok korlátozása, a bemenetek átvizsgálása és emberi jóváhagyás megkövetelése a kritikus műveleteknél.

Így segít a KI.ordo

A KI.ordo kész MI-tűzfal sablont kínál, amely egy ügynök elé helyezhető további szűrőrétegként, például amikor a tartalom a weboldal-olvasó eszközön keresztül érkezik.

További információ : Közvetett prompt injection

Kapcsolódó sablonok

Témák

  • Biztonság
  • prompt injection
  • ügynökök

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása
← Minden fogalom

Kapcsolódó fogalmak

MI-tűzfal

Az MI-tűzfal védőréteg a felhasználók, az adatforrások és egy MI-modell között. Átvizsgálja a bemeneteket manipulációs kísérletek – például prompt injection vagy jailbreak – után, és továbbadás előtt ellenőrzi a kimeneteket, például bizalmas adatok vagy nem kívánt tartalom szempontjából. Szabályokat, osztályozó modelleket vagy egy második nyelvi modellt használhat. Az MI-tűzfal csökkenti a kockázatot, de nem nyújt teljes védelmet, és nem helyettesíti sem a korlátozott jogosultságokat, sem a tesztelést.

  • Biztonság
  • prompt injection
  • +1
Sablon

Jailbreaking

A jailbreaking olyan kísérleteket jelent, amelyekkel ügyesen megfogalmazott bemenetekkel megkerülik egy MI-modell biztonsági szabályait, hogy olyan tartalmat állítson elő vagy olyan műveletet hajtson végre, amelyet el kellene utasítania. A szervezetek számára ez kockázat, mert egy chatbot például bizalmas utasításokat fedhet fel, vagy nem megfelelően reagálhat. A védelem eszközei: egyértelmű rendszerutasítások, a be- és kimenetek átvizsgálása, korlátozott jogosultságok, naplózás és rendszeres biztonsági tesztek (red teaming).

  • Biztonság
  • visszaélés-megelőzés
  • +1
Sablon

LLM-biztonság

Az LLM-biztonság mindazon intézkedéseket magában foglalja, amelyek a nagy nyelvi modellekre épülő alkalmazásokat védik a visszaélésektől, az adatszivárgástól és a nem kívánt viselkedéstől. Tipikus kockázatok: a prompt injection, a bizalmas utasítások vagy adatok kiszivárogtatása, valamint a túlzott jogosultságokkal rendelkező ügynökök. A védelem több rétegből áll: egyértelmű utasítások, korlátozott jogok, a bemenetek és kimenetek ellenőrzése, MI-tűzfalak, red teaming és rendszeres auditok.

  • biztonság
  • nyelvi modellek
  • +1
Sablon

OWASP LLM Top 10

Az OWASP Top 10 for LLM Applications a nagy nyelvi modellekre épülő alkalmazások legfontosabb biztonsági kockázatainak listája, amelyet az OWASP GenAI Security Project ad ki. A jelenlegi, 2026-os kiadás 2026 augusztusában jelent meg (2026. októberi állapot szerint), és a következőket tartalmazza: prompt injection, érzékeny információk kiszivárgása, túlzott ágensképesség (excessive agency), ellátási lánc, adat- és modellmérgezés, korlátlan erőforrás-felhasználás, félretájékoztatás, rejtett kontextus kiszivárgása, vektor- és beágyazási gyengeségek, valamint a kimenetek nem megfelelő kezelése. Ellenőrzőlistaként szolgál a fejlesztéshez és az auditokhoz.

  • biztonság
  • szabvány
  • +1
Sablon