Glosar

Securitatea LLM

Ce este Securitatea LLM?

Securitatea LLM cuprinde toate măsurile care protejează aplicațiile construite pe modele lingvistice de mari dimensiuni împotriva utilizării abuzive, a scurgerilor de date și a comportamentului nedorit. Riscurile tipice includ prompt injection, dezvăluirea de instrucțiuni sau date confidențiale și agenții cu permisiuni excesive. Protecția provine din mai multe straturi: instrucțiuni clare, drepturi restricționate, verificări ale intrărilor și ieșirilor, firewall-uri IA, red teaming și audituri periodice.

Cum ajută KI.ordo

În KI.ordo, rolurile de la vizualizator la proprietar stabilesc cine poate modifica agenții și cunoștințele, un jurnal al modificărilor păstrează editările trasabile, iar un șablon de audit de securitate al chatbotului sprijină verificările.

Aflați mai multe : Securitatea LLM

Subiecte

  • securitate
  • modele lingvistice
  • managementul riscurilor

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul
← Toți termenii

Termeni înrudiți

Firewall IA

Un firewall IA este un strat de protecție între utilizatori, surse de date și un model IA. Filtrează intrările pentru încercări de manipulare, precum prompt injection sau jailbreak-uri, și verifică ieșirile, de exemplu pentru date confidențiale sau conținut nedorit, înainte de a le transmite mai departe. Poate folosi reguli, modele de clasificare sau un al doilea model lingvistic. Un firewall IA reduce riscul, dar nu oferă protecție completă și nu înlocuiește nici permisiunile limitate, nici testarea.

  • Securitate
  • prompt injection
  • +1
Șablon

Red teaming pentru IA

Red teamingul pentru IA este examinarea structurată a unui sistem IA din perspectiva potențialilor atacatori sau a utilizării abuzive. Specialiștii testează în mod controlat dacă un chatbot dezvăluie instrucțiuni confidențiale, poate fi determinat să aibă un comportament nedorit, oferă fapte false sau expune date. Constatările contribuie la îmbunătățirea instrucțiunilor, a filtrelor și a permisiunilor. Un audit de securitate pentru chatbot este o formă mai ușoară: evaluează configurația și conversațiile exemplificative în raport cu domenii de risc cunoscute, precum OWASP Top 10 pentru aplicații LLM.

  • Securitatea IA
  • Teste de securitate
  • +1
Șablon

Prompt injection indirect

În cazul unui prompt injection indirect, instrucțiunile manipulatoare nu se află în intrarea utilizatorului, ci sunt ascunse în conținutul pe care un sistem IA îl prelucrează pe parcurs, precum pagini web, e-mailuri sau documente. Când un agent citește un astfel de conținut, poate confunda comenzile ascunse cu sarcini reale și, de exemplu, poate divulga date. Măsurile de protecție includ tratarea conținutului extern strict ca date, limitarea permisiunilor, filtrarea intrărilor și solicitarea aprobării umane pentru acțiunile critice.

  • Securitate
  • prompt injection
  • +1
Șablon

OWASP LLM Top 10

OWASP Top 10 for LLM Applications este o listă a celor mai importante riscuri de securitate din aplicațiile construite pe modele lingvistice de mari dimensiuni, publicată de OWASP GenAI Security Project. Ediția curentă din 2026 a apărut în august 2026 (stare la octombrie 2026) și cuprinde: prompt injection, divulgarea informațiilor sensibile, autonomie excesivă a agentului, lanțul de aprovizionare, otrăvirea datelor și a modelului, consum nelimitat, dezinformare, expunerea contextului ascuns, vulnerabilități ale vectorilor și ale embedding-urilor și gestionarea necorespunzătoare a rezultatelor. Servește drept listă de verificare pentru dezvoltare și audituri.

  • securitate
  • standard
  • +1
Șablon