Речник

Кръстосана ентропия (cross-entropy)

Какво е Кръстосана ентропия (cross-entropy)?

Кръстосаната ентропия (cross-entropy) е мярка от теорията на информацията, която показва доколко прогнозираното вероятностно разпределение се отклонява от действителното. В машинното обучение тя е най-разпространената функция на загубата за задачи за класификация, а също и за езикови модели, които предвиждат следващия токен. Тя наказва особено силно уверените грешни прогнози: приписването на 99% на грешния клас води до много по-висока загуба, отколкото приписването на 60%.

Теми

Функция на загубата
Training
Статистика

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Логаритмична загуба (log loss)

Логаритмичната загуба (log loss) измерва доколко добре прогнозираните вероятности на класификационен модел съответстват на действителните резултати. Уверените, но грешни прогнози се наказват особено силно; стойност, близка до нула, показва добре калибрирани прогнози. Пример: ако моделът даде 95% вероятност за отпадане на клиент, който остава, логаритмичната загуба рязко нараства. Математически тя е същата като бинарната кръстосана ентропия.

метрика
класификация
+1

Градиентно спускане

Градиентното спускане е методът за оптимизация, с който се обучават повечето ИИ модели. Измерва се колко голяма е грешката на модела, изчислява се в каква посока трябва да се променят параметрите, за да намалее, и след това се прави малка стъпка в тази посока – отново и отново. Подобно е на планинар в мъгла, който продължава да върви надолу, за да стигне до долината. Размерът на стъпката (скорост на обучение) определя скоростта и стабилността.

Оптимизация
Обучение на модели
+1

Класификатор

Класификаторът е модел или метод, който отнася входните данни към една от няколко предварително определени категории. Класическите варианти като дърветата на решенията или наивния Байес се обучават върху анотирани примери; езиковите модели могат да сортират текстове и въз основа на описание на категориите. Типични приложения са откриването на спам, сортирането на запитвания на клиенти по теми и категоризирането на разписки. Качеството се измерва с метрики като точност, прецизност и обхват.

Класификация
Машинно обучение
+1

Шаблон

Сходимост

В машинното обучение сходимост означава, че процедурата на обучение се приближава към стабилно състояние: загубата почти не намалява повече, а параметрите на модела се променят минимално. Дали и колко бързо един модел се доближава до сходимост, зависи от фактори като скорост на обучение, качество на данните и архитектура на модела. Ако скоростта на обучение е твърде висока, загубата скача; ако е твърде ниска, обучението продължава излишно дълго. Сходимостта не гарантира добър модел, тъй като той все още може да е преобучен.

Training
Оптимизация
+1