NL
InloggenAan de slag
Woordenlijst

Jailbreaking

Wat is Jailbreaking?

Jailbreaking verwijst naar pogingen om de veiligheidsregels van een AI-model te omzeilen met slim geformuleerde invoer, zodat het inhoud produceert of acties uitvoert die het zou moeten weigeren. Voor organisaties is dit een risico, omdat een chatbot bijvoorbeeld vertrouwelijke instructies kan prijsgeven of ongepast kan reageren. Beschermende maatregelen zijn duidelijke systeeminstructies, screening van invoer en uitvoer, beperkte rechten, logging en regelmatige beveiligingstests (red teaming).

Hoe KI.ordo helpt

De kant-en-klare KI.ordo-sjablonen voor een AI-firewall en een beveiligingsaudit van chatbots helpen verdachte invoer op te sporen en de instructies van uw eigen agents op zwakke plekken te controleren.

Meer informatie : Jailbreaking

Passende sjablonen

Onderwerpen

  • Beveiliging
  • Misbruikpreventie
  • LLM

KI.ordo uitproberen

Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.

Demo starten
← Alle begrippen

Verwante begrippen

Indirecte prompt injection

Bij een indirecte prompt injection staan manipulatieve instructies niet in de invoer van de gebruiker, maar zijn ze verborgen in inhoud die een AI-systeem onderweg verwerkt, zoals webpagina’s, e-mails of documenten. Wanneer een agent zulke inhoud leest, kan hij verborgen commando’s aanzien voor echte taken en bijvoorbeeld gegevens prijsgeven. Beveiligingsmaatregelen zijn onder meer externe inhoud strikt als data behandelen, rechten beperken, invoer screenen en voor kritieke acties menselijke goedkeuring eisen.

  • Beveiliging
  • Prompt injection
  • +1
Sjabloon

AI-firewall

Een AI-firewall is een beschermende laag tussen gebruikers, gegevensbronnen en een AI-model. Hij screent invoer op manipulatiepogingen zoals prompt injection of jailbreaks en controleert uitvoer, bijvoorbeeld op vertrouwelijke gegevens of ongewenste inhoud, voordat die wordt doorgegeven. Hij kan gebruikmaken van regels, classificatiemodellen of een tweede taalmodel. Een AI-firewall verkleint het risico, maar biedt geen volledige bescherming en vervangt noch beperkte rechten noch testen.

  • Beveiliging
  • Prompt injection
  • +1
Sjabloon

AI-red-teaming

AI-red-teaming is het gestructureerd onderzoeken van een AI-systeem vanuit het perspectief van potentiële aanvallers of misbruik. Specialisten testen gecontroleerd of een chatbot zijn vertrouwelijke opdracht prijsgeeft, tot ongewenst gedrag kan worden verleid, onjuiste feiten levert of gegevens blootlegt. De bevindingen leiden tot betere opdrachten, filters en rechten. Een beveiligingsaudit voor chatbots is een lichtere vorm: die beoordeelt de configuratie en voorbeeldgesprekken aan de hand van bekende risicogebieden zoals de OWASP Top 10 voor LLM-toepassingen.

  • AI-beveiliging
  • Beveiligingstests
  • +1
Sjabloon

Extractie van systeemprompts

Extractie van systeemprompts beschrijft pogingen om een chatbot of AI-agent zijn verborgen systeeminstructies te laten onthullen. Slaagt zo’n poging, dan spreekt men van prompt leaking: extractie is de aanval, het lek het gevolg. Effectieve bescherming begint ermee wachtwoorden, sleutels en vertrouwelijke regels buiten de opdracht te houden en ervan uit te gaan dat ze openbaar kunnen worden; invoercontroles en regelmatig testen zorgen voor extra waarborgen.

  • Beveiliging
  • Prompt leaking
  • +1
Sjabloon