BERT (Bidirectional Encoder Representations from Transformers) е езиков модел, представен от Google през 2018 г. За разлика от по-ранните модели той отчита едновременно контекста отляво и отдясно на дадена дума, което му помага да разрешава многозначност. BERT е предназначен за разбиране на текст, а не за писане на по-дълги откъси. Използва се за търсене, класификация на текст, разпознаване на именувани обекти и отговаряне на въпроси и е повлиял на много модели наследници.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоТрансформърът е архитектура на невронна мрежа, представена през 2017 г. в научната статия „Attention Is All You Need“. В основата ѝ е механизмът на вниманието: всяка дума се претегля във връзка с всички останали думи в текста, а изчислението може да се паралелизира ефективно. Трансформърите са в основата на днешните езикови модели като GPT, Claude и BERT и се използват също за изображения и аудио.
Разбирането на естествен език е частта от езиковата обработка, която улавя смисъла на едно изказване: какво намерение стои зад него, кои хора, места или дати се споменават и какъв е тонът? Заедно с генерирането на естествен език (NLG) NLU е една от двете страни на NLP. Пример е система за обслужване на клиенти, която разпознава „Пратката ми още не е пристигнала“ като запитване за доставка.
Вградените представяния на думи (word embeddings) представят думите като числови вектори, така че думи с близко значение да лежат близо една до друга във векторното пространство, например „кола“ и „автомобил“. Методи като Word2Vec или GloVe научават тези вектори от големи количества текст. Те бяха важна стъпка в езиковата обработка, например за търсене или класификация; днешните езикови модели използват контекстуални представяния, при които една дума се представя по различен начин в зависимост от изречението.
GPT (generative pre-trained transformer) означава серия от големи езикови модели, разработени от OpenAI и основани на архитектурата „трансформър“. Моделите първо се обучават предварително върху огромни количества текст да предвиждат следващия токен, а след това се обучават допълнително за диалог и за следване на инструкции. Първият модел GPT се появява през 2018 г.; по-късните поколения стоят в основата на ChatGPT. В ежедневната реч „GPT“ често се използва за езикови модели като цяло.
