Slovar pojmov

Ustavna UI (Constitutional AI)

Kaj je Ustavna UI (Constitutional AI)?

Ustavna UI (Constitutional AI) je metoda učenja jezikovnih modelov, ki jo je Anthropic objavil leta 2022; z ustavnim pravom nima nič skupnega. Temelji na zapisanem naboru načel, „ustavi“: model sam kritizira in popravlja svoje odgovore glede na ta načela, nato UI primerja pare odgovorov, ta povratna informacija pa služi kot signal nagrajevanja pri spodbujevalnem učenju (RLAIF). To zmanjšuje potrebo po človeškem označevanju škodljivih vsebin; januarja 2026 je Anthropic objavil prenovljeno ustavo za Claude.

Kako pomaga KI.ordo

Modeli Claude podjetja Anthropic, ki se uporabljajo v KI.ordo, so med drugim naučeni s to metodo.

Teme

Training
varnost UI
Anthropic

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev

← Vsi pojmi

Sorodni pojmi

Spodbujevalno učenje s človeško povratno informacijo (RLHF)

RLHF je učna metoda, ki jezikovne modele naredi bolj koristne in varnejše. Ljudje primerjajo in ocenijo več odgovorov modela; iz teh presoj se nauči model nagrajevanja, ki nato jezikovni model samega s spodbujevalnim učenjem dodatno uči. Tako se na primer nauči odgovarjati jasneje ali zavrniti sporne zahteve. RLHF poteka pri ponudniku modela, preden je model objavljen – ne pri posameznih uporabnikih.

učenje
človeška povratna informacija
+1

Claude

Claude je družina velikih jezikovnih modelov ameriškega podjetja za UI Anthropic. Modeli razumejo in pišejo besedila v številnih jezikih, analizirajo dokumente, pišejo kodo in lahko uporabljajo orodja, na primer za raziskave ali avtomatizacijo. Najbolj znane so družine modelov Haiku, Sonnet in Opus, ki se razlikujejo po hitrosti, stroških in zmogljivosti. Anthropic daje poseben poudarek varnosti in zanesljivemu vedenju modelov.

Anthropic
jezikovni model
+1

Etika UI

Etika UI se ukvarja z moralnimi vprašanji ob razvoju in uporabi UI: pravičnost in diskriminacija, preglednost in razložljivost, varstvo podatkov, odgovornost za napake, varnost ter učinki na delo in družbo. Za organizacije se konkretizira v smernicah, ocenah tveganja, človeškem nadzoru in poštenem komuniciranju o omejitvah UI. Primer: preden se uvede orodje za pregledovanje življenjepisov, se preveri, ali morda postavlja določene skupine v slabši položaj.

Etika
Pristojnost
+1

Varnost LLM

Varnost LLM zajema vse ukrepe, ki aplikacije na osnovi velikih jezikovnih modelov ščitijo pred zlorabo, uhajanjem podatkov in neželenim vedenjem. Tipična tveganja so vstavljanje ukazov, razkritje zaupnih navodil ali podatkov in agenti s prekomernimi pooblastili. Zaščita izhaja iz več plasti: jasnih navodil, omejenih pravic, preverjanja vnosov in izpisov, požarnih zidov UI, red teaminga in rednih pregledov.

varnost
jezikovni modeli
+1

Predloga