Hvad er AI red teaming?
AI red teaming er en struktureret undersøgelse af et AI-system set fra potentielle angriberes eller misbrugeres perspektiv. Specialister tester under kontrollerede forhold, om en chatbot afslører fortrolige instruktioner, kan lokkes til uønsket adfærd, leverer forkerte fakta eller eksponerer data. Resultaterne bruges til bedre instruktioner, filtre og tilladelser. En sikkerhedsaudit af en chatbot er en lettere form: Den vurderer konfiguration og eksempelsamtaler ud fra kendte risikoområder som OWASP Top 10 for LLM Applications.
Sådan hjælper KI.ordo
KI.ordo-skabelonen »Sikkerhedsaudit af chatbot« vurderer instruktioner og eksempelsamtaler ud fra OWASP-risikoområderne og foreslår harmløse selvtestspørgsmål; den erstatter ikke omfattende red teaming udført af specialister.
Læs mere : AI red teaming