Речник

Pathways Language Model (PaLM)

Какво е Pathways Language Model (PaLM)?

PaLM е голям езиков модел на Google, представен през 2022 г. с 540 милиарда параметъра и обучаван едновременно на много TPU чипове с помощта на системата за обучение Pathways на Google. През 2023 г. последва PaLM 2, който захранваше, наред с други неща, чатбота Bard. Оттогава Google замени PaLM със своите модели Gemini, а API за разработчици на PaLM беше спрян през август 2024 г. Днес PaLM е важен главно като ключов етап в развитието на големите езикови модели.

Теми

езиков модел
Google
история на моделите

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Голям езиков модел (LLM)

Големият езиков модел (large language model, LLM) е невронна мрежа, обучена върху много големи количества текст, която може да разбира и генерира език. Работи, като стъпка по стъпка изчислява най-вероятния следващ токен. LLM пишат, обобщават, превеждат, отговарят на въпроси и генерират код; известни примери са Claude, GPT, Gemini и Llama. Без достъп до актуални източници те знаят само онова, което е било в обучителните им данни.

Езикови модели
Генеративен ИИ
+1

Transformer

Трансформърът е архитектура на невронна мрежа, представена през 2017 г. в научната статия „Attention Is All You Need“. В основата ѝ е механизмът на вниманието: всяка дума се претегля във връзка с всички останали думи в текста, а изчислението може да се паралелизира ефективно. Трансформърите са в основата на днешните езикови модели като GPT, Claude и BERT и се използват също за изображения и аудио.

Архитектура
Дълбоко обучение
+1

Базов модел (foundation model)

Базовият модел (foundation model) е голям ИИ модел, предварително обучен върху много обширни и разнообразни данни, който след това може да се използва за много различни задачи. Терминът е въведен в Станфордския университет през 2021 г. Известни примери са големите езикови модели като Claude или GPT, както и моделите за изображения. Предприятията обикновено изграждат приложенията си върху такива модели, вместо да обучават собствени от нулата; Актът на ЕС за изкуствения интелект говори за ИИ модели с общо предназначение.

Базов модел
Езикови модели
+1

Генеративен предварително обучен трансформър (GPT)

GPT (generative pre-trained transformer) означава серия от големи езикови модели, разработени от OpenAI и основани на архитектурата „трансформър“. Моделите първо се обучават предварително върху огромни количества текст да предвиждат следващия токен, а след това се обучават допълнително за диалог и за следване на инструкции. Първият модел GPT се появява през 2018 г.; по-късните поколения стоят в основата на ChatGPT. В ежедневната реч „GPT“ често се използва за езикови модели като цяло.

Езиков модел
Transformer
+1