Słownik pojęć

Transformer

Czym jest Transformer?

Transformer to architektura sieci neuronowych przedstawiona w 2017 roku w artykule naukowym „Attention Is All You Need”. Jej rdzeniem jest mechanizm uwagi: każde słowo jest ważone w relacji do wszystkich pozostałych słów w tekście, a obliczenia można efektywnie zrównoleglać. Transformery stanowią podstawę dzisiejszych modeli językowych, takich jak GPT, Claude i BERT, i są też wykorzystywane do obrazów i dźwięku.

Jak pomaga KI.ordo

Modele Anthropic Claude używane przez KI.ordo to duże modele językowe oparte na architekturze transformer.

Tematy

Architektura
Deep learning
LLM

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Generatywny wstępnie wytrenowany transformer (GPT)

GPT (generative pre-trained transformer) to seria dużych modeli językowych opracowanych przez OpenAI i opartych na architekturze transformera. Modele są najpierw wstępnie trenowane na ogromnych ilościach tekstu, aby przewidywać kolejny token, a następnie dalej trenowane do prowadzenia dialogu i wykonywania poleceń. Pierwszy model GPT ukazał się w 2018 roku; kolejne generacje stanowią podstawę ChatGPT. W mowie potocznej „GPT” bywa używane w odniesieniu do modeli językowych w ogóle.

Model językowy
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) to model językowy zaprezentowany przez Google w 2018 roku. W przeciwieństwie do wcześniejszych modeli uwzględnia jednocześnie kontekst po lewej i prawej stronie słowa, co pomaga mu rozstrzygać niejednoznaczności. BERT jest przeznaczony do rozumienia tekstu, a nie do pisania dłuższych fragmentów. Stosuje się go w wyszukiwaniu, klasyfikacji tekstu, rozpoznawaniu nazw własnych i odpowiadaniu na pytania; wywarł wpływ na wiele kolejnych modeli.

Model językowy
NLP
+1

Duży model językowy (LLM)

Duży model językowy (LLM) to sieć neuronowa wytrenowana na bardzo dużych ilościach tekstu, dzięki czemu potrafi rozumieć i generować język. Działa, obliczając krok po kroku najbardziej prawdopodobny kolejny token. LLM-y piszą, streszczają, tłumaczą, odpowiadają na pytania i generują kod; znane przykłady to Claude, GPT, Gemini i Llama. Bez dostępu do aktualnych źródeł wiedzą tylko to, co znajdowało się w ich danych treningowych.

modele językowe
generatywna AI
+1

Hugging Face Transformers

Hugging Face Transformers to otwartoźródłowa biblioteka Pythona, która daje dostęp do wstępnie wytrenowanych modeli dla tekstu, obrazów i dźwięku przez jeden, spójny interfejs. Programiści używają jej do pobierania modeli z Hugging Face Hub, wypróbowywania ich, dostosowywania do własnych danych lub uruchamiania lokalnie. Od wersji 5 biblioteka koncentruje się głównie na PyTorch (stan na październik 2026). Przykład: zespół testuje model analizy sentymentu za pomocą zaledwie kilku linijek kodu.

Open source
biblioteka
+2