Slovník pojmov

Konštitučná AI (Constitutional AI)

Čo je Konštitučná AI (Constitutional AI)?

Konštitučná AI (Constitutional AI) je metóda trénovania jazykových modelov, ktorú v roku 2022 zverejnila spoločnosť Anthropic; s ústavným právom nemá nič spoločné. Vychádza zo spísaného súboru zásad, „konštitúcie“: model kritizuje a prepracúva vlastné odpovede podľa týchto zásad, potom AI porovnáva dvojice odpovedí a táto spätná väzba slúži ako odmeňovací signál pre posilňované učenie (RLAIF). Znižuje to potrebu ľudského označovania škodlivého obsahu; v januári 2026 Anthropic zverejnil revidovanú konštitúciu pre Claude.

Ako pomáha KI.ordo

Modely Claude od spoločnosti Anthropic používané v KI.ordo sú trénované okrem iného touto metódou.

Témy

Training
bezpečnosť AI
Anthropic

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo

← Všetky pojmy

Súvisiace pojmy

Posilňované učenie z ľudskej spätnej väzby (RLHF)

RLHF je trénovacia metóda, vďaka ktorej sú jazykové modely užitočnejšie a bezpečnejšie. Ľudia porovnávajú a hodnotia viaceré odpovede modelu; z týchto posudkov sa trénuje model odmien, ktorý potom prostredníctvom posilňovaného učenia ďalej trénuje samotný jazykový model. Učí ho to napríklad odpovedať jasnejšie alebo odmietať problematické požiadavky. RLHF prebieha u poskytovateľa modelu pred jeho vydaním – nie u jednotlivých používateľov.

trénovanie
ľudská spätná väzba
+1

Claude

Claude je rodina veľkých jazykových modelov americkej AI spoločnosti Anthropic. Modely rozumejú textu a píšu ho v mnohých jazykoch, analyzujú dokumenty, píšu kód a dokážu používať nástroje, napríklad na prieskum alebo automatizáciu. Najznámejšie sú rodiny modelov Haiku, Sonnet a Opus, ktoré sa líšia rýchlosťou, nákladmi a výkonom. Anthropic kladie osobitný dôraz na bezpečnosť a spoľahlivé správanie modelov.

Anthropic
jazykový model
+1

Etika AI

Etika AI sa zaoberá morálnymi otázkami okolo vývoja a používania AI: spravodlivosťou a diskrimináciou, transparentnosťou a vysvetliteľnosťou, ochranou údajov, zodpovednosťou za chyby, bezpečnosťou a vplyvmi na prácu a spoločnosť. Pre organizácie sa konkretizuje v usmerneniach, posudzovaní rizík, ľudskom dohľade a úprimnej komunikácii o limitoch AI. Príklad: pred zavedením nástroja na preosievanie životopisov sa skontroluje, či neznevýhodňuje určité skupiny.

etika
Zodpovednosť
+1

Bezpečnosť LLM

Bezpečnosť LLM zahŕňa všetky opatrenia, ktoré chránia aplikácie postavené na veľkých jazykových modeloch pred zneužitím, únikom údajov a nežiaducim správaním. Typické riziká zahŕňajú prompt injection, prezradenie dôverných pokynov alebo údajov a agentov s nadmernými oprávneniami. Ochranu zabezpečuje viacero vrstiev: jasné pokyny, obmedzené práva, kontroly vstupov a výstupov, AI firewally, red teaming a pravidelné audity.

bezpečnosť
jazykové modely
+1

Šablóna