Fogalomtár

Ellenséges gépi tanulás (adversarial machine learning)

Mi a(z) Ellenséges gépi tanulás (adversarial machine learning)?

Az ellenséges gépi tanulás azt vizsgálja, hogyan vezethetők félre az MI-modellek szándékosan manipulált bemenetekkel vagy tanítóadatokkal – és hogyan védhetők meg. Ismert példák a szinte láthatatlan képmódosítások, amelyek megfordítanak egy besorolást, vagy a megmérgezett tanítóadatok. A téma akkor válik fontossá a szervezetek számára, amikor az MI biztonsági szempontból lényeges döntéseket támogat. Ellenintézkedés lehet a robusztus tanítás, a bemenetek ellenőrzése, a monitorozás és a rendszeres biztonsági tesztelés.

Témák

MI-biztonság
Robusztusság
Fenyegetésvédelem

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

Modellrobusztusság

A modellrobusztusság azt írja le, mennyire megbízhatóan teljesít egy MI-modell, ha a bemenetek zajosak, hiányosak, szokatlanok vagy szándékosan manipuláltak. Egy robusztus modell ilyenkor is stabil eredményeket ad, például rossz fényviszonyok mellett végzett képfelismerésnél, vagy amikor egy nyelvi modell elírásokat kezel. A robusztusságot terheléses tesztekkel, változatos tanítóadatokkal és szándékos megtévesztési kísérletek elleni tesztekkel értékelik, és különösen fontos a biztonságkritikus alkalmazásokban.

megbízhatóság
modellminőség
+1

MI-red teaming

Az MI-red teaming egy MI-rendszer strukturált vizsgálata a lehetséges támadók vagy a visszaélések szemszögéből. Szakemberek ellenőrzött módon tesztelik, hogy egy chatbot felfedi-e a bizalmas utasításokat, rávehető-e nem kívánt viselkedésre, közöl-e hamis tényeket, vagy kiszivárogtat-e adatokat. Az eredmények jobb utasításokba, szűrőkbe és jogosultságokba épülnek be. A chatbot biztonsági auditja ennek könnyebb formája: a konfigurációt és a mintabeszélgetéseket ismert kockázati területek – például az LLM-alkalmazásokra vonatkozó OWASP Top 10 – alapján értékeli.

MI-biztonság
Biztonsági tesztelés
+1

Sablon

LLM-biztonság

Az LLM-biztonság mindazon intézkedéseket magában foglalja, amelyek a nagy nyelvi modellekre épülő alkalmazásokat védik a visszaélésektől, az adatszivárgástól és a nem kívánt viselkedéstől. Tipikus kockázatok: a prompt injection, a bizalmas utasítások vagy adatok kiszivárogtatása, valamint a túlzott jogosultságokkal rendelkező ügynökök. A védelem több rétegből áll: egyértelmű utasítások, korlátozott jogok, a bemenetek és kimenetek ellenőrzése, MI-tűzfalak, red teaming és rendszeres auditok.

biztonság
nyelvi modellek
+1

Sablon

Tanítóadatok

A tanítóadatok azok a példák, amelyekből egy MI-modell mintákat tanul: nagy szöveggyűjtemények a nyelvi modellekhez, címkézett képek a képi modellekhez. Minőségük, sokféleségük és aktualitásuk nagyban meghatározza, mennyire megbízható és igazságos egy modell, és mennyire naprakész a tudása. A szervezetek számára az is számít, hogy a szolgáltató a megadott ügyféladatokat felhasználja-e további tanításhoz.

Adatok
Training
+1