Glosar

Token Smuggling

Ce este Token Smuggling?

Token smuggling este o formă de jailbreaking în care instrucțiunile nedorite sunt deghizate, de exemplu fragmentate, recodificate sau scrise cu caractere asemănătoare, astfel încât filtrele simple după cuvinte-cheie să le rateze, în timp ce modelul lingvistic le înțelege totuși sensul. Protecția include normalizarea intrărilor înainte de evaluarea lor, verificări bazate pe conținut, nu doar pe cuvinte, controlul rezultatelor și acordarea către agenții IA a unui număr cât mai mic de permisiuni.

Cum ajută KI.ordo

Șablonul KI.ordo „Firewall IA: verifică intrarea” evaluează conținutul intrărilor suspecte înainte ca acestea să ajungă la un agent și le blochează, dacă este necesar.

Aflați mai multe

Șabloane potrivite

Firewall IA: verificarea datelor de intrareVerifică datele de intrare pentru a detecta încercări de modificare a instrucțiunilor, de schimbare a rolurilor sau de solicitare a datelor interne și lasă să treacă numai textul sigur; în caz de îndoială, blochează. Plasați-l ca subflux înaintea unui agent.Vedeți șablonul

Subiecte

Securitate
Jailbreaking
LLM

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Jailbreaking

Jailbreaking desemnează încercările de a ocoli regulile de siguranță ale unui model IA prin intrări formulate inteligent, astfel încât acesta să producă conținut sau să întreprindă acțiuni pe care ar trebui să le refuze. Pentru organizații, acesta este un risc, deoarece un chatbot ar putea, de exemplu, să dezvăluie instrucțiuni confidențiale sau să răspundă nepotrivit. Măsurile de protecție includ instrucțiuni de sistem clare, filtrarea intrărilor și ieșirilor, permisiuni limitate, înregistrare în jurnal și teste de securitate periodice (red teaming).

Securitate
prevenirea abuzurilor
+1

Șablon

Firewall IA

Un firewall IA este un strat de protecție între utilizatori, surse de date și un model IA. Filtrează intrările pentru încercări de manipulare, precum prompt injection sau jailbreak-uri, și verifică ieșirile, de exemplu pentru date confidențiale sau conținut nedorit, înainte de a le transmite mai departe. Poate folosi reguli, modele de clasificare sau un al doilea model lingvistic. Un firewall IA reduce riscul, dar nu oferă protecție completă și nu înlocuiește nici permisiunile limitate, nici testarea.

Securitate
prompt injection
+1

Șablon

Securitatea LLM

Securitatea LLM cuprinde toate măsurile care protejează aplicațiile construite pe modele lingvistice de mari dimensiuni împotriva utilizării abuzive, a scurgerilor de date și a comportamentului nedorit. Riscurile tipice includ prompt injection, dezvăluirea de instrucțiuni sau date confidențiale și agenții cu permisiuni excesive. Protecția provine din mai multe straturi: instrucțiuni clare, drepturi restricționate, verificări ale intrărilor și ieșirilor, firewall-uri IA, red teaming și audituri periodice.

securitate
modele lingvistice
+1

Șablon

Prompt injection indirect

În cazul unui prompt injection indirect, instrucțiunile manipulatoare nu se află în intrarea utilizatorului, ci sunt ascunse în conținutul pe care un sistem IA îl prelucrează pe parcurs, precum pagini web, e-mailuri sau documente. Când un agent citește un astfel de conținut, poate confunda comenzile ascunse cu sarcini reale și, de exemplu, poate divulga date. Măsurile de protecție includ tratarea conținutului extern strict ca date, limitarea permisiunilor, filtrarea intrărilor și solicitarea aprobării umane pentru acțiunile critice.

Securitate
prompt injection
+1

Șablon