Glosář

Konstituční AI (Constitutional AI)

Co je Konstituční AI (Constitutional AI)?

Constitutional AI je metoda trénování jazykových modelů, kterou v roce 2022 zveřejnil Anthropic; s ústavním právem nemá nic společného. Vychází z napsané sady zásad, „ústavy“: model kriticky posuzuje a přepracovává své vlastní odpovědi podle těchto zásad, poté AI porovnává dvojice odpovědí a tato zpětná vazba slouží jako odměnový signál pro zpětnovazební učení (RLAIF). Snižuje to potřebu lidského označování škodlivého obsahu; v lednu 2026 Anthropic zveřejnil revidovanou ústavu pro Claude.

Jak pomáhá KI.ordo

Modely Claude od Anthropicu používané v KI.ordo jsou trénovány mimo jiné touto metodou.

Témata

Training
bezpečnost AI
Anthropic

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo

← Všechny pojmy

Související pojmy

Posilované učení z lidské zpětné vazby (RLHF)

RLHF je trénovací metoda, díky níž jsou jazykové modely užitečnější a bezpečnější. Lidé porovnávají a hodnotí několik odpovědí modelu; z těchto úsudků se trénuje model odměn, který pak prostřednictvím posilovaného učení dále trénuje samotný jazykový model. Učí se tak například odpovídat srozumitelněji nebo odmítat problematické požadavky. RLHF probíhá u poskytovatele modelu před jeho vydáním – ne u jednotlivých uživatelů.

trénování
lidská zpětná vazba
+1

Claude

Claude je rodina velkých jazykových modelů od americké AI společnosti Anthropic. Modely rozumějí textu v mnoha jazycích a píší v nich, analyzují dokumenty, píší kód a mohou používat nástroje, například pro rešerše nebo automatizaci. Nejznámější jsou modelové rodiny Haiku, Sonnet a Opus, které se liší rychlostí, náklady a schopnostmi. Anthropic klade zvláštní důraz na bezpečnost a spolehlivé chování modelů.

Anthropic
jazykový model
+1

Etika AI

Etika AI se zabývá morálními otázkami kolem vývoje a využívání AI: férovostí a diskriminací, transparentností a vysvětlitelností, ochranou údajů, odpovědností za chyby, bezpečností a dopady na práci a společnost. Pro organizace se konkretizuje v zásadách, posouzeních rizik, lidském dohledu a otevřené komunikaci o omezeních AI. Příklad: před zavedením nástroje pro třídění životopisů se ověří, zda neznevýhodňuje určité skupiny.

etika
Příslušnost
+1

bezpečnost LLM

Bezpečnost LLM zahrnuje všechna opatření, která chrání aplikace postavené na velkých jazykových modelech před zneužitím, únikem dat a nežádoucím chováním. Typická rizika zahrnují prompt injection, vyzrazení důvěrných pokynů nebo dat a agenty s nadměrnými oprávněními. Ochrana vychází z několika vrstev: jasné pokyny, omezená práva, kontroly vstupů a výstupů, AI firewally, red teaming a pravidelné audity.

bezpečnost
jazykové modely
+1

Šablona