RO
AutentificareÎncepeți acum
Glosar

Jailbreaking

Ce este Jailbreaking?

Jailbreaking desemnează încercările de a ocoli regulile de siguranță ale unui model IA prin intrări formulate inteligent, astfel încât acesta să producă conținut sau să întreprindă acțiuni pe care ar trebui să le refuze. Pentru organizații, acesta este un risc, deoarece un chatbot ar putea, de exemplu, să dezvăluie instrucțiuni confidențiale sau să răspundă nepotrivit. Măsurile de protecție includ instrucțiuni de sistem clare, filtrarea intrărilor și ieșirilor, permisiuni limitate, înregistrare în jurnal și teste de securitate periodice (red teaming).

Cum ajută KI.ordo

Șabloanele gata făcute ale KI.ordo pentru un firewall IA și pentru un audit de securitate al chatbotului ajută la depistarea intrărilor suspecte și la verificarea instrucțiunilor propriilor agenți în căutarea punctelor slabe.

Aflați mai multe : Jailbreaking

Șabloane potrivite

Subiecte

  • Securitate
  • prevenirea abuzurilor
  • LLM

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul
← Toți termenii

Termeni înrudiți

Prompt injection indirect

În cazul unui prompt injection indirect, instrucțiunile manipulatoare nu se află în intrarea utilizatorului, ci sunt ascunse în conținutul pe care un sistem IA îl prelucrează pe parcurs, precum pagini web, e-mailuri sau documente. Când un agent citește un astfel de conținut, poate confunda comenzile ascunse cu sarcini reale și, de exemplu, poate divulga date. Măsurile de protecție includ tratarea conținutului extern strict ca date, limitarea permisiunilor, filtrarea intrărilor și solicitarea aprobării umane pentru acțiunile critice.

  • Securitate
  • prompt injection
  • +1
Șablon

Firewall IA

Un firewall IA este un strat de protecție între utilizatori, surse de date și un model IA. Filtrează intrările pentru încercări de manipulare, precum prompt injection sau jailbreak-uri, și verifică ieșirile, de exemplu pentru date confidențiale sau conținut nedorit, înainte de a le transmite mai departe. Poate folosi reguli, modele de clasificare sau un al doilea model lingvistic. Un firewall IA reduce riscul, dar nu oferă protecție completă și nu înlocuiește nici permisiunile limitate, nici testarea.

  • Securitate
  • prompt injection
  • +1
Șablon

Red teaming pentru IA

Red teamingul pentru IA este examinarea structurată a unui sistem IA din perspectiva potențialilor atacatori sau a utilizării abuzive. Specialiștii testează în mod controlat dacă un chatbot dezvăluie instrucțiuni confidențiale, poate fi determinat să aibă un comportament nedorit, oferă fapte false sau expune date. Constatările contribuie la îmbunătățirea instrucțiunilor, a filtrelor și a permisiunilor. Un audit de securitate pentru chatbot este o formă mai ușoară: evaluează configurația și conversațiile exemplificative în raport cu domenii de risc cunoscute, precum OWASP Top 10 pentru aplicații LLM.

  • Securitatea IA
  • Teste de securitate
  • +1
Șablon

Extragerea promptului de sistem

Extragerea promptului de sistem desemnează încercările de a determina un chatbot sau un agent de IA să-și dezvăluie instrucțiunile ascunse de sistem. Dacă o asemenea încercare reușește, rezultatul se numește prompt leaking: extragerea este atacul, scurgerea este consecința. O protecție eficientă începe prin a nu include în instrucțiuni parole, chei și reguli confidențiale și prin a presupune că ele pot deveni publice; verificarea intrărilor și testarea periodică adaugă măsuri suplimentare de siguranță.

  • Securitate
  • Prompt leaking
  • +1
Șablon