AI inom cybersäkerhet har två sidor. Å ena sidan hjälper AI-tekniker till att upptäcka attacker snabbare, till exempel genom att hitta avvikelser i nätverkstrafik, misstänkta inloggningar eller nätfiske-e-post, och avlastar säkerhetsteam vid prioritering av larm. Å andra sidan måste AI-system själva skyddas, till exempel mot promptinjektion eller dataläckage. AI är bara effektiv här i kombination med tydliga processer, uppdaterade system och utbildade människor.
Avvikelsedetektering hittar datapunkter, händelser eller mönster som skiljer sig markant från det normala. Det kan vara ovanligt stora transaktioner, plötsliga språng i sensorvärden, dubbletter av poster eller misstänkt nätverksaktivitet. Det används inom finans, IT-säkerhet, tillverkning och kvalitetskontroll. Metoderna sträcker sig från enkla statistiska tröskelvärden till lärande modeller; träffar är indikationer som en person bör bedöma.
LLM-säkerhet omfattar alla åtgärder som skyddar applikationer byggda på stora språkmodeller mot missbruk, dataläckage och oönskat beteende. Typiska risker är promptinjektion, avslöjande av konfidentiella instruktioner eller data och agenter med alltför omfattande behörigheter. Skyddet kommer från flera lager: tydliga instruktioner, begränsade rättigheter, kontroller av indata och utdata, AI-brandväggar, red teaming och regelbundna granskningar.
Ett penetrationstest av AI är en beställd, kontrollerad säkerhetsbedömning där specialister medvetet söker efter svagheter i ett AI-system, som promptinjektion, läckage av konfidentiella data eller en agent med alltför omfattande behörigheter. Till skillnad från bredare red teaming fokuserar det på ett tydligt avgränsat område med dokumenterade resultat och åtgärder. Det lönar sig att genomföra det innan en chattbot tas i drift och efter större förändringar.
AI-red teaming är en strukturerad granskning av ett AI-system ur potentiella angripares eller missbrukares perspektiv. Specialister testar under kontrollerade former om en chattbot röjer konfidentiella instruktioner, kan förmås till oönskat beteende, levererar felaktiga fakta eller exponerar data. Resultaten används för att förbättra instruktioner, filter och behörigheter. En säkerhetsgranskning av en chattbot är en lättare variant: den bedömer konfiguration och exempelsamtal mot kända riskområden som OWASP Top 10 för LLM-applikationer.
