Glosar

Extragerea promptului de sistem

Ce este Extragerea promptului de sistem?

Extragerea promptului de sistem desemnează încercările de a determina un chatbot sau un agent de IA să-și dezvăluie instrucțiunile ascunse de sistem. Dacă o asemenea încercare reușește, rezultatul se numește prompt leaking: extragerea este atacul, scurgerea este consecința. O protecție eficientă începe prin a nu include în instrucțiuni parole, chei și reguli confidențiale și prin a presupune că ele pot deveni publice; verificarea intrărilor și testarea periodică adaugă măsuri suplimentare de siguranță.

Cum ajută KI.ordo

Șablonul KI.ordo „Audit de securitate pentru chatbot” verifică instrucțiunile unui agent în privința unor riscuri precum dezvăluirea instrucțiunilor de sistem și oferă întrebări inofensive de autotestare.

Aflați mai multe

Șabloane potrivite

Audit de securitate pentru chatbotVerifică instrucțiunile și conversațiile exemplificative ale unui chatbot sau agent în raport cu OWASP Top 10 pentru aplicații LLM, enumeră constatările și măsurile și oferă zece întrebări inofensive de autotestare.Vedeți șablonul

Subiecte

Securitate
Prompt leaking
Chatbots

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Prompt leaking

Prompt leaking (scurgerea promptului) desemnează dezvăluirea neintenționată a instrucțiunilor interne ale unui sistem de IA, de exemplu atunci când un chatbot își dezvăluie promptul de sistem ca răspuns la o solicitare formulată abil. Devine o problemă dacă acele instrucțiuni conțin logică de business, informații interne sau chiar date de acces. Lista OWASP pentru aplicațiile LLM menționează explicit acest risc. Cea mai eficientă protecție este să scrieți instrucțiunile ca și cum ar putea deveni publice, să nu stocați niciodată secrete în ele și să verificați și rezultatele.

Securitatea IA
prompt de sistem
+1

Șablon

Jailbreaking

Jailbreaking desemnează încercările de a ocoli regulile de siguranță ale unui model IA prin intrări formulate inteligent, astfel încât acesta să producă conținut sau să întreprindă acțiuni pe care ar trebui să le refuze. Pentru organizații, acesta este un risc, deoarece un chatbot ar putea, de exemplu, să dezvăluie instrucțiuni confidențiale sau să răspundă nepotrivit. Măsurile de protecție includ instrucțiuni de sistem clare, filtrarea intrărilor și ieșirilor, permisiuni limitate, înregistrare în jurnal și teste de securitate periodice (red teaming).

Securitate
prevenirea abuzurilor
+1

Șablon

Audit de securitate pentru chatbot

Un audit de securitate pentru chatbot este o verificare structurată a faptului dacă un chatbot IA protejează în mod adecvat datele confidențiale, instrucțiunile sale interne și permisiunile sale de acțiune. Examinează, printre altele, vulnerabilitatea la injectarea de prompturi, divulgarea neintenționată a informațiilor și accesul prea larg la instrumente – adesea după modelul OWASP Top 10 pentru aplicații LLM. Rezultatul este un raport cu o evaluare pentru fiecare domeniu de risc și măsuri concrete.

securitate
audit
+1

Șablon

OWASP LLM Top 10

OWASP Top 10 for LLM Applications este o listă a celor mai importante riscuri de securitate din aplicațiile construite pe modele lingvistice de mari dimensiuni, publicată de OWASP GenAI Security Project. Ediția curentă din 2026 a apărut în august 2026 (stare la octombrie 2026) și cuprinde: prompt injection, divulgarea informațiilor sensibile, autonomie excesivă a agentului, lanțul de aprovizionare, otrăvirea datelor și a modelului, consum nelimitat, dezinformare, expunerea contextului ascuns, vulnerabilități ale vectorilor și ale embedding-urilor și gestionarea necorespunzătoare a rezultatelor. Servește drept listă de verificare pentru dezvoltare și audituri.

securitate
standard
+1

Șablon