Ordliste

AI red teaming

Hvad er AI red teaming?

AI red teaming er en struktureret undersøgelse af et AI-system set fra potentielle angriberes eller misbrugeres perspektiv. Specialister tester under kontrollerede forhold, om en chatbot afslører fortrolige instruktioner, kan lokkes til uønsket adfærd, leverer forkerte fakta eller eksponerer data. Resultaterne bruges til bedre instruktioner, filtre og tilladelser. En sikkerhedsaudit af en chatbot er en lettere form: Den vurderer konfiguration og eksempelsamtaler ud fra kendte risikoområder som OWASP Top 10 for LLM Applications.

Sådan hjælper KI.ordo

KI.ordo-skabelonen »Sikkerhedsaudit af chatbot« vurderer instruktioner og eksempelsamtaler ud fra OWASP-risikoområderne og foreslår harmløse selvtestspørgsmål; den erstatter ikke omfattende red teaming udført af specialister.

Læs mere : AI red teaming

Emner

  • AI-sikkerhed
  • Sikkerhedstest
  • Chatbot

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo
← Alle begreber

Relaterede begreber

Sikkerhedsaudit af chatbot

En sikkerhedsaudit af en chatbot er en struktureret gennemgang af, om en AI-chatbot i tilstrækkelig grad beskytter fortrolige data, sine interne instruktioner og sine handlerettigheder. Den undersøger blandt andet sårbarheden over for prompt injection, utilsigtet videregivelse af oplysninger og for vid adgang til værktøjer – ofte med udgangspunkt i OWASP Top 10 for LLM Applications. Resultatet er en rapport med en vurdering pr. risikoområde og konkrete tiltag.

  • sikkerhed
  • audit
  • +1
Skabelon

OWASP LLM Top 10

OWASP Top 10 for LLM Applications er en liste over de vigtigste sikkerhedsrisici i applikationer bygget på store sprogmodeller, udgivet af OWASP GenAI Security Project. Den aktuelle udgave fra 2026 udkom i august 2026 (pr. oktober 2026) og omfatter: prompt injection, offentliggørelse af følsomme oplysninger, for vidtgående handlefrihed (excessive agency), forsyningskæde, forgiftning af data og modeller, ubegrænset forbrug, misinformation, eksponering af skjult kontekst, svagheder i vektorer og embeddings samt forkert håndtering af output. Den fungerer som tjekliste til udvikling og audits.

  • sikkerhed
  • standard
  • +1
Skabelon

AI-penetrationstest

En AI-penetrationstest er en bestilt, kontrolleret sikkerhedsvurdering, hvor specialister bevidst afprøver et AI-system for svagheder, f.eks. prompt injection, lækage af fortrolige data eller en agent med for vidtgående tilladelser. I modsætning til bredere red teaming fokuserer den på et klart afgrænset område med dokumenterede fund og afhjælpning. Den er umagen værd, før en chatbot går live, og efter større ændringer.

  • Sikkerhed
  • Vurdering
  • +1
Skabelon

LLM-sikkerhed

LLM-sikkerhed omfatter alle foranstaltninger, der beskytter applikationer bygget på store sprogmodeller mod misbrug, datalæk og uønsket adfærd. Typiske risici er prompt injection, afsløring af fortrolige instruktioner eller data og agenter med for vidtgående tilladelser. Beskyttelsen kommer fra flere lag: klare instruktioner, begrænsede rettigheder, kontrol af input og output, AI-firewalls, red teaming og regelmæssige audits.

  • sikkerhed
  • sprogmodeller
  • +1
Skabelon