Mikä on Generatiivinen esikoulutettu transformer (GPT)?
GPT (generative pre-trained transformer) viittaa OpenAI:n kehittämään suurten kielimallien sarjaan, joka perustuu transformer-arkkitehtuuriin. Mallit esikoulutetaan ensin valtavilla tekstimäärillä ennustamaan seuraava token ja koulutetaan sitten edelleen dialogiin ja ohjeiden noudattamiseen. Ensimmäinen GPT-malli julkaistiin vuonna 2018; myöhemmät sukupolvet ovat ChatGPT:n perusta. Arkikielessä ”GPT”-sanaa käytetään usein kielimalleista yleensä.