Kaj je Generativni predhodno učeni transformer (GPT)?
GPT (generative pre-trained transformer) označuje serijo velikih jezikovnih modelov podjetja OpenAI, ki temeljijo na arhitekturi transformer. Modeli se najprej predhodno učijo na ogromnih količinah besedil, da napovedujejo naslednji token, nato pa se dodatno učijo za dialog in upoštevanje navodil. Prvi model GPT je izšel leta 2018; poznejše generacije so podlaga ChatGPT. V vsakdanjem govoru se „GPT“ pogosto uporablja za jezikovne modele nasploh.