PaLM je veliki jezični model tvrtke Google, predstavljen 2022. s 540 milijardi parametara, treniran istodobno na mnogim TPU čipovima pomoću Googleova sustava za treniranje Pathways. Godine 2023. uslijedio je PaLM 2, koji je, među ostalim, pokretao chatbot Bard. Google je PaLM u međuvremenu zamijenio svojim modelima Gemini, a razvojni API za PaLM ugašen je u kolovozu 2024. Danas je PaLM važan uglavnom kao prekretnica u razvoju velikih jezičnih modela.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoVeliki jezični model (LLM) neuronska je mreža trenirana na vrlo velikim količinama teksta, zahvaljujući čemu može razumjeti i generirati jezik. Radi tako da korak po korak izračunava najvjerojatniji sljedeći token. LLM-ovi pišu, sažimaju, prevode, odgovaraju na pitanja i generiraju kod; poznati primjeri su Claude, GPT, Gemini i Llama. Bez pristupa aktualnim izvorima znaju samo ono što je bilo u njihovim podacima za treniranje.
Transformer je arhitektura neuronskih mreža predstavljena 2017. u istraživačkom radu „Attention Is All You Need“. U njezinoj je jezgri mehanizam pažnje: svaka riječ vaga se u odnosu na sve ostale riječi u tekstu, a izračun se može učinkovito paralelizirati. Transformeri su temelj današnjih jezičnih modela poput GPT-a, Claudea i BERT-a, a koriste se i za slike i zvuk.
Temeljni model (foundation model) velik je UI model unaprijed treniran na vrlo opsežnim, raznovrsnim podacima, koji se zatim može koristiti za mnoge različite zadatke. Pojam je skovan 2021. na Sveučilištu Stanford. Poznati primjeri uključuju velike jezične modele poput Claudea ili GPT-a te modele za slike. Tvrtke svoje aplikacije obično grade na takvim modelima umjesto da treniraju vlastite od nule; Akt EU-a o umjetnoj inteligenciji odnosi se na UI modele opće namjene.
GPT (generative pre-trained transformer) označava seriju velikih jezičnih modela tvrtke OpenAI koji se temelje na arhitekturi transformera. Modeli se najprije unaprijed treniraju na golemim količinama teksta kako bi predviđali sljedeći token, a zatim se dodatno treniraju za dijalog i izvršavanje uputa. Prvi GPT model pojavio se 2018.; kasnije generacije temelj su ChatGPT-a. U svakodnevnom govoru „GPT” se često koristi za jezične modele općenito.
