Słownik pojęć

BERT

Czym jest BERT?

BERT (Bidirectional Encoder Representations from Transformers) to model językowy zaprezentowany przez Google w 2018 roku. W przeciwieństwie do wcześniejszych modeli uwzględnia jednocześnie kontekst po lewej i prawej stronie słowa, co pomaga mu rozstrzygać niejednoznaczności. BERT jest przeznaczony do rozumienia tekstu, a nie do pisania dłuższych fragmentów. Stosuje się go w wyszukiwaniu, klasyfikacji tekstu, rozpoznawaniu nazw własnych i odpowiadaniu na pytania; wywarł wpływ na wiele kolejnych modeli.

Tematy

Model językowy
NLP
Transformer

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Transformer

Transformer to architektura sieci neuronowych przedstawiona w 2017 roku w artykule naukowym „Attention Is All You Need”. Jej rdzeniem jest mechanizm uwagi: każde słowo jest ważone w relacji do wszystkich pozostałych słów w tekście, a obliczenia można efektywnie zrównoleglać. Transformery stanowią podstawę dzisiejszych modeli językowych, takich jak GPT, Claude i BERT, i są też wykorzystywane do obrazów i dźwięku.

Architektura
Deep learning
+1

Rozumienie języka naturalnego (NLU)

Rozumienie języka naturalnego to część przetwarzania języka, która uchwyca znaczenie wypowiedzi: jaka intencja za nią stoi, jakie osoby, miejsca lub daty są wymienione i jaki jest jej ton. Razem z generowaniem języka naturalnego (NLG) NLU tworzy jedną z dwóch stron NLP. Przykładem jest system obsługi klienta, który rozpoznaje zdanie „Moja paczka wciąż nie dotarła” jako zapytanie o dostawę.

NLP
Rozpoznawanie intencji
+1

Osadzenia słów (word embeddings)

Osadzenia słów reprezentują słowa jako wektory liczbowe, tak aby słowa o podobnym znaczeniu leżały blisko siebie w przestrzeni wektorowej, na przykład „samochód” i „pojazd”. Metody takie jak Word2Vec czy GloVe uczą się tych wektorów z dużych zbiorów tekstów. Były one ważnym krokiem w przetwarzaniu języka, na przykład w wyszukiwaniu lub klasyfikacji; dzisiejsze modele językowe używają kontekstowych osadzeń, w których słowo jest reprezentowane inaczej w zależności od zdania.

NLP
Wektory
+1

Generatywny wstępnie wytrenowany transformer (GPT)

GPT (generative pre-trained transformer) to seria dużych modeli językowych opracowanych przez OpenAI i opartych na architekturze transformera. Modele są najpierw wstępnie trenowane na ogromnych ilościach tekstu, aby przewidywać kolejny token, a następnie dalej trenowane do prowadzenia dialogu i wykonywania poleceń. Pierwszy model GPT ukazał się w 2018 roku; kolejne generacje stanowią podstawę ChatGPT. W mowie potocznej „GPT” bywa używane w odniesieniu do modeli językowych w ogóle.

Model językowy
Transformer
+1