Glosar

IA constituțională (Constitutional AI)

Ce este IA constituțională (Constitutional AI)?

Constitutional AI este o metodă de antrenare a modelelor lingvistice publicată de Anthropic în 2022; nu are legătură cu dreptul constituțional. Se bazează pe un set scris de principii, „constituția”: modelul își critică și își revizuiește propriile răspunsuri în raport cu aceste principii, apoi o IA compară perechi de răspunsuri, iar acest feedback servește drept semnal de recompensă pentru învățarea prin întărire (RLAIF). Aceasta reduce nevoia de etichetare umană a conținutului dăunător; în ianuarie 2026, Anthropic a publicat o constituție revizuită pentru Claude.

Cum ajută KI.ordo

Modelele Claude ale Anthropic folosite în KI.ordo sunt antrenate, printre altele, prin această metodă.

Subiecte

Training
siguranța IA
Anthropic

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Învățarea prin întărire pe baza feedbackului uman (RLHF)

RLHF este o metodă de antrenare care face modelele lingvistice mai utile și mai sigure. Oamenii compară și evaluează mai multe răspunsuri ale modelului; aceste judecăți sunt folosite pentru a antrena un model de recompensă, care antrenează apoi, prin învățare prin întărire, chiar modelul lingvistic. Acesta învață astfel, de exemplu, să răspundă mai clar sau să refuze solicitările problematice. RLHF are loc la furnizorul modelului, înainte ca un model să fie lansat – nu la utilizatorii individuali.

antrenare
feedback uman
+1

Claude

Claude este o familie de modele lingvistice mari dezvoltată de compania americană de IA Anthropic. Modelele înțeleg și redactează texte în numeroase limbi, analizează documente, scriu cod și pot utiliza instrumente, de exemplu pentru cercetare sau automatizare. Cele mai cunoscute sunt familiile de modele Haiku, Sonnet și Opus, care diferă prin viteză, cost și capacități. Anthropic pune un accent deosebit pe siguranță și pe un comportament fiabil al modelelor.

Anthropic
model lingvistic
+1

Etica IA

Etica IA se ocupă de întrebările morale legate de dezvoltarea și utilizarea IA: echitate și discriminare, transparență și explicabilitate, protecția datelor, responsabilitatea pentru erori, siguranța și efectele asupra muncii și societății. Pentru organizații, devine concretă în ghiduri, evaluări de risc, supraveghere umană și comunicare sinceră despre limitele IA. Exemplu: înainte de introducerea unui instrument de triere a CV-urilor, se verifică dacă dezavantajează anumite grupuri.

etică
Responsabilitate
+1

Securitatea LLM

Securitatea LLM cuprinde toate măsurile care protejează aplicațiile construite pe modele lingvistice de mari dimensiuni împotriva utilizării abuzive, a scurgerilor de date și a comportamentului nedorit. Riscurile tipice includ prompt injection, dezvăluirea de instrucțiuni sau date confidențiale și agenții cu permisiuni excesive. Protecția provine din mai multe straturi: instrucțiuni clare, drepturi restricționate, verificări ale intrărilor și ieșirilor, firewall-uri IA, red teaming și audituri periodice.

securitate
modele lingvistice
+1

Șablon