Glosar

Învățare automată adversarială

Ce este Învățare automată adversarială?

Învățarea automată adversarială studiază modul în care modelele IA pot fi induse în eroare prin date de intrare sau date de antrenare manipulate intenționat – și cum pot fi protejate. Exemple cunoscute sunt modificările abia vizibile ale imaginilor, care schimbă o clasificare, sau datele de antrenare otrăvite. Subiectul devine relevant pentru organizații de îndată ce IA sprijină decizii relevante pentru securitate. Contramăsurile includ antrenarea robustă, verificarea datelor de intrare, monitorizarea și testele de securitate periodice.

Subiecte

Securitatea IA
Robustețe
Protecție împotriva amenințărilor

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Robustețea modelului

Robustețea modelului descrie cât de fiabil funcționează un model de IA atunci când intrările sunt zgomotoase, incomplete, neobișnuite sau manipulate intenționat. Un model robust oferă în continuare rezultate stabile, de exemplu la recunoașterea imaginilor în condiții de lumină slabă sau atunci când un model lingvistic întâlnește greșeli de tastare. Robustețea se evaluează prin teste de stres, date de antrenare diverse și teste împotriva încercărilor deliberate de inducere în eroare și este deosebit de importantă în aplicațiile critice pentru siguranță.

fiabilitate
calitatea modelului
+1

Red teaming pentru IA

Red teamingul pentru IA este examinarea structurată a unui sistem IA din perspectiva potențialilor atacatori sau a utilizării abuzive. Specialiștii testează în mod controlat dacă un chatbot dezvăluie instrucțiuni confidențiale, poate fi determinat să aibă un comportament nedorit, oferă fapte false sau expune date. Constatările contribuie la îmbunătățirea instrucțiunilor, a filtrelor și a permisiunilor. Un audit de securitate pentru chatbot este o formă mai ușoară: evaluează configurația și conversațiile exemplificative în raport cu domenii de risc cunoscute, precum OWASP Top 10 pentru aplicații LLM.

Securitatea IA
Teste de securitate
+1

Șablon

Securitatea LLM

Securitatea LLM cuprinde toate măsurile care protejează aplicațiile construite pe modele lingvistice de mari dimensiuni împotriva utilizării abuzive, a scurgerilor de date și a comportamentului nedorit. Riscurile tipice includ prompt injection, dezvăluirea de instrucțiuni sau date confidențiale și agenții cu permisiuni excesive. Protecția provine din mai multe straturi: instrucțiuni clare, drepturi restricționate, verificări ale intrărilor și ieșirilor, firewall-uri IA, red teaming și audituri periodice.

securitate
modele lingvistice
+1

Șablon

Date de antrenare

Datele de antrenare sunt exemplele din care un model de IA învață tipare: colecții mari de texte pentru modelele lingvistice, imagini etichetate pentru modelele de imagini. Calitatea, diversitatea și actualitatea lor determină în mare măsură cât de fiabil și echitabil este un model și cât de actuale sunt cunoștințele sale. Pentru organizații contează și dacă un furnizor folosește datele clienților introduse de aceștia pentru antrenare ulterioară.

Date
Training
+1