Słownik pojęć

Pathways Language Model (PaLM)

Czym jest Pathways Language Model (PaLM)?

PaLM to duży model językowy firmy Google, zaprezentowany w 2022 roku z 540 miliardami parametrów i trenowany jednocześnie na wielu układach TPU za pomocą systemu treningowego Google Pathways. W 2023 roku pojawił się PaLM 2, który napędzał między innymi chatbota Bard. Google zastąpiło od tamtej pory PaLM swoimi modelami Gemini, a API dla deweloperów PaLM zostało wyłączone w sierpniu 2024 roku. Dziś PaLM ma znaczenie głównie jako kamień milowy w rozwoju dużych modeli językowych.

Tematy

model językowy
Google
historia modeli

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Duży model językowy (LLM)

Duży model językowy (LLM) to sieć neuronowa wytrenowana na bardzo dużych ilościach tekstu, dzięki czemu potrafi rozumieć i generować język. Działa, obliczając krok po kroku najbardziej prawdopodobny kolejny token. LLM-y piszą, streszczają, tłumaczą, odpowiadają na pytania i generują kod; znane przykłady to Claude, GPT, Gemini i Llama. Bez dostępu do aktualnych źródeł wiedzą tylko to, co znajdowało się w ich danych treningowych.

modele językowe
generatywna AI
+1

Transformer

Transformer to architektura sieci neuronowych przedstawiona w 2017 roku w artykule naukowym „Attention Is All You Need”. Jej rdzeniem jest mechanizm uwagi: każde słowo jest ważone w relacji do wszystkich pozostałych słów w tekście, a obliczenia można efektywnie zrównoleglać. Transformery stanowią podstawę dzisiejszych modeli językowych, takich jak GPT, Claude i BERT, i są też wykorzystywane do obrazów i dźwięku.

Architektura
Deep learning
+1

Model bazowy (foundation model)

Model bazowy (foundation model) to duży model AI wstępnie wytrenowany na bardzo obszernych i zróżnicowanych danych, który można następnie wykorzystać do wielu różnych zadań. Pojęcie to wprowadzono na Uniwersytecie Stanforda w 2021 roku. Znane przykłady to duże modele językowe, takie jak Claude czy GPT, a także modele obrazów. Firmy zwykle budują swoje aplikacje na takich modelach, zamiast trenować własne od podstaw; unijny AI Act odnosi się do modeli AI ogólnego przeznaczenia.

Model podstawowy
modele językowe
+1

Generatywny wstępnie wytrenowany transformer (GPT)

GPT (generative pre-trained transformer) to seria dużych modeli językowych opracowanych przez OpenAI i opartych na architekturze transformera. Modele są najpierw wstępnie trenowane na ogromnych ilościach tekstu, aby przewidywać kolejny token, a następnie dalej trenowane do prowadzenia dialogu i wykonywania poleceń. Pierwszy model GPT ukazał się w 2018 roku; kolejne generacje stanowią podstawę ChatGPT. W mowie potocznej „GPT” bywa używane w odniesieniu do modeli językowych w ogóle.

Model językowy
Transformer
+1