Речник

Конституционен ИИ (Constitutional AI)

Какво е Конституционен ИИ (Constitutional AI)?

Конституционният ИИ (Constitutional AI) е метод за обучение на езикови модели, публикуван от Anthropic през 2022 г.; той няма нищо общо с конституционното право. Основава се на писмен набор от принципи – „конституция“: моделът критикува и преработва собствените си отговори спрямо тези принципи, след това ИИ сравнява двойки отговори и тази обратна връзка служи като сигнал за награда при обучението с подкрепление (RLAIF). Това намалява нуждата от човешко етикетиране на вредно съдържание; през януари 2026 г. Anthropic публикува преработена конституция за Claude.

Как помага KI.ordo

Моделите Claude на Anthropic, използвани в KI.ordo, са обучени, наред с други, по този метод.

Теми

Training
безопасност на ИИ
Anthropic

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Обучение с подкрепление от човешка обратна връзка (RLHF)

RLHF е метод за обучение, който прави езиковите модели по-полезни и по-безопасни. Хора сравняват и оценяват няколко от отговорите на модела; тези преценки се използват за обучение на модел на наградата, който след това допълнително обучава самия езиков модел чрез обучение с подкрепление. Така той се научава например да отговаря по-ясно или да отказва проблемни заявки. RLHF се провежда при доставчика на модела, преди моделът да бъде пуснат – не при отделните потребители.

обучение
човешка обратна връзка
+1

Claude

Claude е семейство от големи езикови модели на американската ИИ компания Anthropic. Моделите разбират и пишат текст на много езици, анализират документи, пишат код и могат да използват инструменти, например за проучване или автоматизация. Най-известни са семействата модели Haiku, Sonnet и Opus, които се различават по скорост, цена и възможности. Anthropic отдава особено значение на сигурността и надеждното поведение на моделите.

Anthropic
езиков модел
+1

Етика на ИИ

Етиката на ИИ се занимава с моралните въпроси около разработването и използването на ИИ: справедливост и дискриминация, прозрачност и обяснимост, защита на данните, отговорност за грешки, безопасност и последици за труда и обществото. За организациите тя става конкретна в насоки, оценки на риска, човешки надзор и честна комуникация за ограниченията на ИИ. Пример: преди да бъде въведен инструмент за подбор на автобиографии, той се проверява дали не поставя в неблагоприятно положение определени групи.

Етика
Отговорност
+1

сигурност на LLM

Сигурността на LLM обхваща всички мерки, които защитават приложенията, изградени върху големи езикови модели, от злоупотреби, изтичане на данни и нежелано поведение. Типични рискове са промпт инжекция, разкриване на поверителни инструкции или данни и агенти с прекомерни права. Защитата идва от няколко слоя: ясни инструкции, ограничени права, проверка на входните и изходните данни, ИИ защитни стени, red teaming и редовни одити.

сигурност
езикови модели
+1

Шаблон