Glosar

Acuratețea și stabilitatea modelelor IA

Ce este Acuratețea și stabilitatea modelelor IA?

Acuratețea descrie cât de des produce un model IA rezultate corecte; stabilitatea descrie cât de fiabil se menține această performanță – în cazul unor intrări ușor modificate, al datelor noi sau în timp. Un model poate fi foarte precis în teste, dar instabil dacă simpla reformulare a unei întrebări duce la un alt răspuns. Pentru utilizarea în lumea reală, ambele proprietăți sunt verificate cu cazuri de test fixe, validare încrucișată și monitorizare continuă.

Subiecte

calitatea modelului
Robustețe
Evaluation

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Robustețea modelului

Robustețea modelului descrie cât de fiabil funcționează un model de IA atunci când intrările sunt zgomotoase, incomplete, neobișnuite sau manipulate intenționat. Un model robust oferă în continuare rezultate stabile, de exemplu la recunoașterea imaginilor în condiții de lumină slabă sau atunci când un model lingvistic întâlnește greșeli de tastare. Robustețea se evaluează prin teste de stres, date de antrenare diverse și teste împotriva încercărilor deliberate de inducere în eroare și este deosebit de importantă în aplicațiile critice pentru siguranță.

fiabilitate
calitatea modelului
+1

Derivă de model (model drift)

Deriva de model este scăderea treptată a calității predicțiilor unui model în timpul funcționării, deoarece realitatea se modifică în raport cu datele de antrenare. Se face distincția între modificările datelor de intrare (data drift) și modificările relației dintre intrări și rezultate (concept drift). Exemplu: un model de detectare a fraudelor nu mai recunoaște scheme frauduloase noi. Remediile includ monitorizarea continuă a metricilor și reantrenarea periodică.

MLOps
calitatea modelului
+1

Validarea încrucișată

Validarea încrucișată este o metodă de verificare a cât de bine generalizează un model pe date noi, nevăzute. În validarea încrucișată k-fold, datele sunt împărțite în k părți; modelul este antrenat de k ori pe k−1 părți și testat de fiecare dată pe partea rămasă, după care rezultatele sunt mediate. Aceasta ajută la depistarea supraînvățării și la compararea echitabilă a modelelor sau setărilor, mai ales când sunt disponibile puține date.

Evaluarea modelelor
validare
+1

Benchmarking

În IA, benchmarkingul înseamnă compararea sistematică a modelelor sau a sistemelor pe baza unor sarcini și criterii definite. Benchmarkurile publice măsoară, de exemplu, cunoștințele generale, capacitatea de raționament sau de programare; pentru utilizarea practică, însă, contează cel mai mult cazurile de test din propria activitate zilnică. Criteriile tipice sunt acuratețea, completitudinea, timpul de răspuns și costul. Acest lucru ajută la a decide dacă un model mai mic și mai ieftin este suficient de bun pentru o sarcină.

Compararea modelelor
Evaluation
+1

Șablon