Ordlista

Constitutional AI

Vad är Constitutional AI?

Constitutional AI är en träningsmetod för språkmodeller som Anthropic publicerade 2022; den har inget med konstitutionell rätt att göra. Den bygger på en skriftlig uppsättning principer, ”konstitutionen”: modellen kritiserar och reviderar sina egna svar mot dessa principer, därefter jämför en AI par av svar, och denna återkoppling fungerar som belöningssignal för förstärkningsinlärning (RLAIF). Det minskar behovet av mänsklig annotering av skadligt innehåll; i januari 2026 publicerade Anthropic en reviderad konstitution för Claude.

Så hjälper KI.ordo

De Claude-modeller från Anthropic som används i KI.ordo har bland annat tränats med denna metod.

Ämnen

Training
AI-säkerhet
Anthropic

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo

← Alla begrepp

Relaterade begrepp

Förstärkningsinlärning från mänsklig återkoppling (RLHF)

RLHF är en träningsmetod som gör språkmodeller mer hjälpsamma och säkrare. Människor jämför och betygsätter flera av modellens svar; dessa bedömningar används för att träna en belöningsmodell, som sedan tränar själva språkmodellen vidare genom förstärkningsinlärning. På så sätt lär den sig till exempel att svara tydligare eller att avböja problematiska förfrågningar. RLHF sker hos modellleverantören innan en modell släpps – inte hos enskilda användare.

träning
mänsklig återkoppling
+1

Claude

Claude är en familj av stora språkmodeller från det amerikanska AI-företaget Anthropic. Modellerna förstår och skriver text på många språk, analyserar dokument, skriver kod och kan använda verktyg, till exempel för research eller automatisering. Mest kända är modellfamiljerna Haiku, Sonnet och Opus, som skiljer sig åt i hastighet, kostnad och förmåga. Anthropic lägger särskild vikt vid säkerhet och tillförlitligt modellbeteende.

Anthropic
språkmodell
+1

AI-etik

AI-etik behandlar de moraliska frågorna kring utveckling och användning av AI: rättvisa och diskriminering, transparens och förklarbarhet, dataskydd, ansvar för fel, säkerhet och effekterna på arbete och samhälle. För organisationer blir det konkret i riktlinjer, riskbedömningar, mänsklig tillsyn och ärlig kommunikation om AI:s begränsningar. Exempel: innan ett verktyg för CV-granskning införs kontrolleras det om det missgynnar vissa grupper.

Etik
Ansvar
+1

LLM-säkerhet

LLM-säkerhet omfattar alla åtgärder som skyddar applikationer byggda på stora språkmodeller mot missbruk, dataläckage och oönskat beteende. Typiska risker är promptinjektion, avslöjande av konfidentiella instruktioner eller data och agenter med alltför omfattande behörigheter. Skyddet kommer från flera lager: tydliga instruktioner, begränsade rättigheter, kontroller av indata och utdata, AI-brandväggar, red teaming och regelbundna granskningar.

säkerhet
språkmodeller
+1

Mall