Glosar

OWASP LLM Top 10

Ce este OWASP LLM Top 10?

OWASP Top 10 for LLM Applications este o listă a celor mai importante riscuri de securitate din aplicațiile construite pe modele lingvistice de mari dimensiuni, publicată de OWASP GenAI Security Project. Ediția curentă din 2026 a apărut în august 2026 (stare la octombrie 2026) și cuprinde: prompt injection, divulgarea informațiilor sensibile, autonomie excesivă a agentului, lanțul de aprovizionare, otrăvirea datelor și a modelului, consum nelimitat, dezinformare, expunerea contextului ascuns, vulnerabilități ale vectorilor și ale embedding-urilor și gestionarea necorespunzătoare a rezultatelor. Servește drept listă de verificare pentru dezvoltare și audituri.

Cum ajută KI.ordo

Șablonul KI.ordo „Audit de securitate pentru chatbot” evaluează instrucțiunile unui agent și conversațiile-exemplu în raport cu domeniile de risc din OWASP Top 10 for LLM Applications.

Aflați mai multe : OWASP LLM Top 10

Subiecte

  • securitate
  • standard
  • audit

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul
← Toți termenii

Termeni înrudiți

Securitatea LLM

Securitatea LLM cuprinde toate măsurile care protejează aplicațiile construite pe modele lingvistice de mari dimensiuni împotriva utilizării abuzive, a scurgerilor de date și a comportamentului nedorit. Riscurile tipice includ prompt injection, dezvăluirea de instrucțiuni sau date confidențiale și agenții cu permisiuni excesive. Protecția provine din mai multe straturi: instrucțiuni clare, drepturi restricționate, verificări ale intrărilor și ieșirilor, firewall-uri IA, red teaming și audituri periodice.

  • securitate
  • modele lingvistice
  • +1
Șablon

Prompt injection indirect

În cazul unui prompt injection indirect, instrucțiunile manipulatoare nu se află în intrarea utilizatorului, ci sunt ascunse în conținutul pe care un sistem IA îl prelucrează pe parcurs, precum pagini web, e-mailuri sau documente. Când un agent citește un astfel de conținut, poate confunda comenzile ascunse cu sarcini reale și, de exemplu, poate divulga date. Măsurile de protecție includ tratarea conținutului extern strict ca date, limitarea permisiunilor, filtrarea intrărilor și solicitarea aprobării umane pentru acțiunile critice.

  • Securitate
  • prompt injection
  • +1
Șablon

Audit de securitate pentru chatbot

Un audit de securitate pentru chatbot este o verificare structurată a faptului dacă un chatbot IA protejează în mod adecvat datele confidențiale, instrucțiunile sale interne și permisiunile sale de acțiune. Examinează, printre altele, vulnerabilitatea la injectarea de prompturi, divulgarea neintenționată a informațiilor și accesul prea larg la instrumente – adesea după modelul OWASP Top 10 pentru aplicații LLM. Rezultatul este un raport cu o evaluare pentru fiecare domeniu de risc și măsuri concrete.

  • securitate
  • audit
  • +1
Șablon

Prompt leaking

Prompt leaking (scurgerea promptului) desemnează dezvăluirea neintenționată a instrucțiunilor interne ale unui sistem de IA, de exemplu atunci când un chatbot își dezvăluie promptul de sistem ca răspuns la o solicitare formulată abil. Devine o problemă dacă acele instrucțiuni conțin logică de business, informații interne sau chiar date de acces. Lista OWASP pentru aplicațiile LLM menționează explicit acest risc. Cea mai eficientă protecție este să scrieți instrucțiunile ca și cum ar putea deveni publice, să nu stocați niciodată secrete în ele și să verificați și rezultatele.

  • Securitatea IA
  • prompt de sistem
  • +1
Șablon