DA
Log indKom i gang
Ordliste

Jailbreaking

Hvad er Jailbreaking?

Jailbreaking betegner forsøg på at omgå en AI-models sikkerhedsregler med snedigt formulerede input, så den frembringer indhold eller foretager handlinger, den skulle afvise. For organisationer er det en risiko, fordi en chatbot f.eks. kan afsløre fortrolige instruktioner eller svare upassende. Beskyttelsesforanstaltninger er klare systeminstruktioner, screening af input og output, begrænsede tilladelser, logning og regelmæssige sikkerhedstest (red teaming).

Sådan hjælper KI.ordo

KI.ordos færdige skabeloner til en AI-firewall og et sikkerhedstjek af chatbots hjælper med at opdage mistænkelige input og kontrollere dine egne agenters instruktioner for svagheder.

Læs mere : Jailbreaking

Matchende skabeloner

Emner

  • Sikkerhed
  • Forebyggelse af misbrug
  • LLM

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo
← Alle begreber

Relaterede begreber

Indirekte prompt injection

Ved en indirekte prompt injection ligger de manipulerende instruktioner ikke i brugerens input, men er skjult i indhold, som et AI-system behandler undervejs, f.eks. websider, e-mails eller dokumenter. Når en agent læser sådant indhold, kan den forveksle skjulte kommandoer med ægte opgaver og f.eks. afsløre data. Sikringstiltag er at behandle eksternt indhold strengt som data, begrænse tilladelser, screene input og kræve menneskelig godkendelse af kritiske handlinger.

  • Sikkerhed
  • Prompt injection
  • +1
Skabelon

AI-firewall

En AI-firewall er et beskyttelseslag mellem brugere, datakilder og en AI-model. Den screener input for manipulationsforsøg som prompt injection eller jailbreaks og kontrollerer output, f.eks. for fortrolige data eller uønsket indhold, før det sendes videre. Den kan bruge regler, klassifikationsmodeller eller en anden sprogmodel. En AI-firewall mindsker risikoen, men giver ikke fuldstændig beskyttelse og erstatter hverken begrænsede tilladelser eller test.

  • Sikkerhed
  • Prompt injection
  • +1
Skabelon

AI red teaming

AI red teaming er en struktureret undersøgelse af et AI-system set fra potentielle angriberes eller misbrugeres perspektiv. Specialister tester under kontrollerede forhold, om en chatbot afslører fortrolige instruktioner, kan lokkes til uønsket adfærd, leverer forkerte fakta eller eksponerer data. Resultaterne bruges til bedre instruktioner, filtre og tilladelser. En sikkerhedsaudit af en chatbot er en lettere form: Den vurderer konfiguration og eksempelsamtaler ud fra kendte risikoområder som OWASP Top 10 for LLM Applications.

  • AI-sikkerhed
  • Sikkerhedstest
  • +1
Skabelon

Systemprompt-udtrækning

Systemprompt-udtrækning betegner forsøg på at få en chatbot eller AI-agent til at afsløre sine skjulte systeminstruktioner. Lykkes et sådant forsøg, kaldes resultatet prompt leaking: udtrækningen er angrebet, lækagen er konsekvensen. Effektiv beskyttelse begynder med at holde adgangskoder, nøgler og fortrolige regler ude af instruktionerne og gå ud fra, at de kan blive offentlige; inputkontroller og regelmæssig testning giver yderligere sikkerhed.

  • Sikkerhed
  • Prompt leaking
  • +1
Skabelon