Речник

Transformer

Какво е Transformer?

Трансформърът е архитектура на невронна мрежа, представена през 2017 г. в научната статия „Attention Is All You Need“. В основата ѝ е механизмът на вниманието: всяка дума се претегля във връзка с всички останали думи в текста, а изчислението може да се паралелизира ефективно. Трансформърите са в основата на днешните езикови модели като GPT, Claude и BERT и се използват също за изображения и аудио.

Как помага KI.ordo

Моделите Claude на Anthropic, използвани от KI.ordo, са големи езикови модели, основани на архитектурата на трансформъра.

Теми

Архитектура
Дълбоко обучение
LLM

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Генеративен предварително обучен трансформър (GPT)

GPT (generative pre-trained transformer) означава серия от големи езикови модели, разработени от OpenAI и основани на архитектурата „трансформър“. Моделите първо се обучават предварително върху огромни количества текст да предвиждат следващия токен, а след това се обучават допълнително за диалог и за следване на инструкции. Първият модел GPT се появява през 2018 г.; по-късните поколения стоят в основата на ChatGPT. В ежедневната реч „GPT“ често се използва за езикови модели като цяло.

Езиков модел
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) е езиков модел, представен от Google през 2018 г. За разлика от по-ранните модели той отчита едновременно контекста отляво и отдясно на дадена дума, което му помага да разрешава многозначност. BERT е предназначен за разбиране на текст, а не за писане на по-дълги откъси. Използва се за търсене, класификация на текст, разпознаване на именувани обекти и отговаряне на въпроси и е повлиял на много модели наследници.

Езиков модел
NLP
+1

Голям езиков модел (LLM)

Големият езиков модел (large language model, LLM) е невронна мрежа, обучена върху много големи количества текст, която може да разбира и генерира език. Работи, като стъпка по стъпка изчислява най-вероятния следващ токен. LLM пишат, обобщават, превеждат, отговарят на въпроси и генерират код; известни примери са Claude, GPT, Gemini и Llama. Без достъп до актуални източници те знаят само онова, което е било в обучителните им данни.

Езикови модели
Генеративен ИИ
+1

Hugging Face Transformers

Hugging Face Transformers е библиотека с отворен код на Python, която дава достъп до предварително обучени модели за текст, изображения и аудио чрез единен, последователен интерфейс. Разработчиците я използват, за да изтеглят модели от Hugging Face Hub, да ги изпробват, да ги адаптират към собствените си данни или да ги изпълняват локално. От версия 5 библиотеката е насочена основно към PyTorch (към октомври 2026 г.). Пример: екип тества модел за анализ на настроението само с няколко реда код.

Отворен код
Библиотека
+2