AI i cybersikkerhed har to sider. På den ene side hjælper AI-teknikker med at opdage angreb hurtigere, f.eks. ved at spotte afvigelser i netværkstrafik, mistænkelige logins eller phishing-mails, og aflaster sikkerhedsteams ved vurdering af alarmer. På den anden side skal selve AI-systemerne beskyttes, f.eks. mod prompt injection eller datalæk. AI er kun effektiv her i kombination med klare processer, opdaterede systemer og uddannede medarbejdere.
Anomalidetektion finder datapunkter, hændelser eller mønstre, der afviger markant fra normen. Det kan være usædvanligt store transaktioner, pludselige spring i sensormålinger, dublerede poster eller mistænkelig netværksaktivitet. Det bruges inden for finans, IT-sikkerhed, produktion og kvalitetskontrol. Metoderne spænder fra simple statistiske tærskler til lærende modeller; fund er indikationer, som en person bør vurdere.
LLM-sikkerhed omfatter alle foranstaltninger, der beskytter applikationer bygget på store sprogmodeller mod misbrug, datalæk og uønsket adfærd. Typiske risici er prompt injection, afsløring af fortrolige instruktioner eller data og agenter med for vidtgående tilladelser. Beskyttelsen kommer fra flere lag: klare instruktioner, begrænsede rettigheder, kontrol af input og output, AI-firewalls, red teaming og regelmæssige audits.
En AI-penetrationstest er en bestilt, kontrolleret sikkerhedsvurdering, hvor specialister bevidst afprøver et AI-system for svagheder, f.eks. prompt injection, lækage af fortrolige data eller en agent med for vidtgående tilladelser. I modsætning til bredere red teaming fokuserer den på et klart afgrænset område med dokumenterede fund og afhjælpning. Den er umagen værd, før en chatbot går live, og efter større ændringer.
AI red teaming er en struktureret undersøgelse af et AI-system set fra potentielle angriberes eller misbrugeres perspektiv. Specialister tester under kontrollerede forhold, om en chatbot afslører fortrolige instruktioner, kan lokkes til uønsket adfærd, leverer forkerte fakta eller eksponerer data. Resultaterne bruges til bedre instruktioner, filtre og tilladelser. En sikkerhedsaudit af en chatbot er en lettere form: Den vurderer konfiguration og eksempelsamtaler ud fra kendte risikoområder som OWASP Top 10 for LLM Applications.
