BERT (Bidirectional Encoder Representations from Transformers) je jazykový model, který Google představil v roce 2018. Na rozdíl od dřívějších modelů zohledňuje současně kontext nalevo i napravo od slova, což mu pomáhá řešit víceznačnost. BERT je určen spíše k porozumění textu než k psaní delších pasáží. Využívá se pro vyhledávání, klasifikaci textu, rozpoznávání pojmenovaných entit a odpovídání na otázky a ovlivnil mnoho následných modelů.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoTransformer je architektura neuronové sítě představená v roce 2017 ve výzkumné práci „Attention Is All You Need“. Jejím jádrem je mechanismus pozornosti: každé slovo se váží ve vztahu ke všem ostatním slovům v textu a výpočet lze efektivně paralelizovat. Transformery tvoří základ dnešních jazykových modelů, jako jsou GPT, Claude a BERT, a používají se také pro obraz a zvuk.
Porozumění přirozenému jazyku je část zpracování jazyka, která zachycuje význam výpovědi: jaký záměr za ní stojí, jaké osoby, místa nebo data se zmiňují a jaký má tón? Spolu s generováním přirozeného jazyka (NLG) tvoří NLU jednu ze dvou stran NLP. Příkladem je systém zákaznické podpory, který větu „Můj balíček stále nedorazil“ rozpozná jako dotaz na dodání.
Slovní embeddingy reprezentují slova jako číselné vektory, takže slova s podobným významem leží ve vektorovém prostoru blízko sebe, například „auto“ a „vozidlo“. Metody jako Word2Vec nebo GloVe se tyto vektory učí z velkých objemů textu. Byly důležitým krokem ve zpracování jazyka, například pro vyhledávání nebo klasifikaci; dnešní jazykové modely používají kontextové embeddingy, v nichž je slovo reprezentováno různě podle věty.
GPT (generative pre-trained transformer) označuje řadu velkých jazykových modelů vyvinutých společností OpenAI na architektuře transformer. Modely se nejprve předtrénují na obrovském množství textu, aby předpovídaly další token, a poté se dále trénují pro dialog a plnění pokynů. První model GPT vyšel v roce 2018; pozdější generace stojí za ChatGPT. V běžné řeči se „GPT“ často používá pro jazykové modely obecně.
