Adversariálne strojové učenie skúma, ako možno AI modely zmiasť zámerne zmanipulovanými vstupmi alebo trénovacími údajmi – a ako ich chrániť. Známymi príkladmi sú sotva viditeľné zmeny obrázka, ktoré zvrátia klasifikáciu, alebo otrávené trénovacie údaje. Téma je pre organizácie dôležitá, len čo AI podporuje rozhodnutia relevantné pre bezpečnosť. Protiopatrenia zahŕňajú robustné trénovanie, kontroly vstupov, monitorovanie a pravidelné bezpečnostné testy.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoRobustnosť modelu popisuje, nakoľko spoľahlivo model AI funguje, keď sú vstupy zašumené, neúplné, nezvyčajné alebo zámerne zmanipulované. Robustný model stále dodáva stabilné výsledky, napríklad rozpoznávanie obrazu pri zlom osvetlení alebo jazykový model, ktorý si poradí s preklepmi. Robustnosť sa posudzuje záťažovými testami, rozmanitými trénovacími dátami a testami proti zámerným pokusom o oklamanie, a je mimoriadne dôležitá v aplikáciách kritických pre bezpečnosť.
AI red teaming je štruktúrované preverovanie AI systému z pohľadu potenciálnych útočníkov alebo zneužitia. Špecialisti kontrolovane testujú, či chatbot neprezradí dôverné pokyny, či ho nemožno priviesť k nežiaducemu správaniu, či neuvádza nepravdivé fakty alebo nesprístupní údaje. Zistenia sa premietajú do lepších pokynov, filtrov a oprávnení. Bezpečnostný audit chatbota je jeho ľahšia forma: posudzuje konfiguráciu a vzorové konverzácie podľa známych rizikových oblastí, ako je OWASP Top 10 pre aplikácie LLM.
Bezpečnosť LLM zahŕňa všetky opatrenia, ktoré chránia aplikácie postavené na veľkých jazykových modeloch pred zneužitím, únikom údajov a nežiaducim správaním. Typické riziká zahŕňajú prompt injection, prezradenie dôverných pokynov alebo údajov a agentov s nadmernými oprávneniami. Ochranu zabezpečuje viacero vrstiev: jasné pokyny, obmedzené práva, kontroly vstupov a výstupov, AI firewally, red teaming a pravidelné audity.
Trénovacie dáta sú príklady, z ktorých sa model AI učí vzory: rozsiahle zbierky textov pre jazykové modely, označené obrázky pre obrazové modely. Ich kvalita, rozmanitosť a aktuálnosť vo veľkej miere určujú, nakoľko je model spoľahlivý a férový a nakoľko aktuálne budú jeho znalosti. Pre organizácie je dôležité aj to, či poskytovateľ používa zadané zákaznícke dáta na ďalšie trénovanie.
