Adversariální strojové učení zkoumá, jak lze AI modely oklamat záměrně zmanipulovanými vstupy nebo trénovacími daty – a jak je chránit. Známými příklady jsou sotva viditelné změny obrázku, které převrátí klasifikaci, nebo otrávená trénovací data. Pro organizace je téma důležité, jakmile AI podporuje rozhodnutí relevantní z hlediska bezpečnosti. K protiopatřením patří robustní trénování, kontroly vstupů, monitoring a pravidelné bezpečnostní testy.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoRobustnost modelu popisuje, jak spolehlivě AI model funguje, když jsou vstupy zašuměné, neúplné, neobvyklé nebo záměrně zmanipulované. Robustní model stále poskytuje stabilní výsledky, například při rozpoznávání obrazu za špatného osvětlení nebo když jazykový model zvládne překlepy. Robustnost se posuzuje zátěžovými testy, rozmanitými trénovacími daty a testy proti záměrným pokusům o oklamání a je obzvlášť důležitá u aplikací kritických z hlediska bezpečnosti.
AI red teaming je strukturované prověřování AI systému z pohledu potenciálních útočníků nebo zneužití. Specialisté kontrolovaně testují, zda chatbot neprozradí důvěrné pokyny, zda ho nelze přimět k nežádoucímu chování, zda neuvádí nepravdivá fakta nebo neodhaluje data. Zjištění pak slouží ke zlepšení pokynů, filtrů a oprávnění. Bezpečnostní audit chatbota je jeho lehčí formou: posuzuje konfiguraci a ukázkové konverzace podle známých rizikových oblastí, jako je OWASP Top 10 pro aplikace LLM.
Bezpečnost LLM zahrnuje všechna opatření, která chrání aplikace postavené na velkých jazykových modelech před zneužitím, únikem dat a nežádoucím chováním. Typická rizika zahrnují prompt injection, vyzrazení důvěrných pokynů nebo dat a agenty s nadměrnými oprávněními. Ochrana vychází z několika vrstev: jasné pokyny, omezená práva, kontroly vstupů a výstupů, AI firewally, red teaming a pravidelné audity.
Trénovací data jsou příklady, z nichž se AI model učí vzory: rozsáhlé sbírky textů pro jazykové modely, označené obrázky pro obrazové modely. Jejich kvalita, rozmanitost a aktuálnost do značné míry určují, jak spolehlivý a spravedlivý model je a jak aktuální budou jeho znalosti. Pro organizace je také důležité, zda poskytovatel používá k dalšímu trénování zákaznická data, která do systému zadají.
