Ordliste

Adversarial machine learning

Hvad er Adversarial machine learning?

Adversarial machine learning undersøger, hvordan AI-modeller kan vildledes af bevidst manipulerede input eller træningsdata – og hvordan man beskytter dem. Velkendte eksempler er næsten usynlige billedændringer, der vender en klassificering, eller forgiftede træningsdata. Emnet bliver relevant for organisationer, så snart AI understøtter sikkerhedsrelevante beslutninger. Modforanstaltninger omfatter robust træning, inputkontrol, overvågning og regelmæssige sikkerhedstest.

Emner

AI-sikkerhed
Robusthed
Trusselsbeskyttelse

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo

← Alle begreber

Relaterede begreber

Modelrobusthed

Modelrobusthed beskriver, hvor pålideligt en AI-model fungerer, når input er støjende, ufuldstændige, usædvanlige eller bevidst manipulerede. En robust model leverer stadig stabile resultater, f.eks. billedgenkendelse i dårligt lys eller en sprogmodel, der håndterer tastefejl. Robusthed vurderes med stresstests, varierede træningsdata og test mod bevidste forsøg på at snyde modellen, og den er særligt vigtig i sikkerhedskritiske anvendelser.

pålidelighed
modelkvalitet
+1

AI red teaming

AI red teaming er en struktureret undersøgelse af et AI-system set fra potentielle angriberes eller misbrugeres perspektiv. Specialister tester under kontrollerede forhold, om en chatbot afslører fortrolige instruktioner, kan lokkes til uønsket adfærd, leverer forkerte fakta eller eksponerer data. Resultaterne bruges til bedre instruktioner, filtre og tilladelser. En sikkerhedsaudit af en chatbot er en lettere form: Den vurderer konfiguration og eksempelsamtaler ud fra kendte risikoområder som OWASP Top 10 for LLM Applications.

AI-sikkerhed
Sikkerhedstest
+1

Skabelon

LLM-sikkerhed

LLM-sikkerhed omfatter alle foranstaltninger, der beskytter applikationer bygget på store sprogmodeller mod misbrug, datalæk og uønsket adfærd. Typiske risici er prompt injection, afsløring af fortrolige instruktioner eller data og agenter med for vidtgående tilladelser. Beskyttelsen kommer fra flere lag: klare instruktioner, begrænsede rettigheder, kontrol af input og output, AI-firewalls, red teaming og regelmæssige audits.

sikkerhed
sprogmodeller
+1

Skabelon

Træningsdata

Træningsdata er de eksempler, som en AI-model lærer mønstre af: store tekstsamlinger til sprogmodeller, mærkede billeder til billedmodeller. Deres kvalitet, mangfoldighed og aktualitet er i høj grad afgørende for, hvor pålidelig og fair en model er, og hvor opdateret dens viden bliver. For organisationer er det også vigtigt, om en udbyder bruger de kundedata, der indtastes, til yderligere træning.

Data
Training
+1