PaLM je velik jezikovni model podjetja Google, predstavljen leta 2022 s 540 milijardami parametrov, učen hkrati na številnih čipih TPU z Googlovim učnim sistemom Pathways. Leta 2023 je sledil PaLM 2, ki je med drugim poganjal klepetalnega robota Bard. Google je PaLM medtem nadomestil z modeli Gemini, razvijalski API za PaLM pa je bil avgusta 2024 ukinjen. Danes je PaLM pomemben predvsem kot mejnik v razvoju velikih jezikovnih modelov.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevVeliki jezikovni model (large language model, LLM) je nevronska mreža, naučena na zelo velikih količinah besedil, kar ji omogoča razumevanje in ustvarjanje jezika. Deluje tako, da korak za korakom izračunava najverjetnejši naslednji token. LLM-ji pišejo, povzemajo, prevajajo, odgovarjajo na vprašanja in ustvarjajo kodo; znani primeri so Claude, GPT, Gemini in Llama. Brez dostopa do aktualnih virov poznajo le tisto, kar je bilo v njihovih učnih podatkih.
Transformer je arhitektura nevronskih mrež, predstavljena leta 2017 v raziskovalnem članku „Attention Is All You Need“. Jedro je mehanizem pozornosti: vsaka beseda se pretehta glede na vse druge besede v besedilu, izračun pa je mogoče učinkovito vzporediti. Transformerji so podlaga današnjih jezikovnih modelov, kot so GPT, Claude in BERT, uporabljajo pa se tudi za slike in zvok.
Temeljni model (foundation model) je velik model UI, vnaprej naučen na zelo obsežnih, raznovrstnih podatkih, ki ga je mogoče nato uporabiti za številne različne naloge. Izraz je leta 2021 skoval Stanfordski univerzitet. Znani primeri so veliki jezikovni modeli, kot sta Claude ali GPT, pa tudi slikovni modeli. Podjetja svoje aplikacije običajno gradijo na takšnih modelih, namesto da bi lastne učila povsem od začetka; Akt EU o umetni inteligenci govori o modelih UI za splošne namene.
GPT (generative pre-trained transformer) označuje serijo velikih jezikovnih modelov podjetja OpenAI, ki temeljijo na arhitekturi transformer. Modeli se najprej predhodno učijo na ogromnih količinah besedil, da napovedujejo naslednji token, nato pa se dodatno učijo za dialog in upoštevanje navodil. Prvi model GPT je izšel leta 2018; poznejše generacije so podlaga ChatGPT. V vsakdanjem govoru se „GPT“ pogosto uporablja za jezikovne modele nasploh.
