Hugging Face Transformers on avatud lähtekoodiga Pythoni teek, mis annab ühtse ja järjepideva liidese kaudu juurdepääsu teksti, piltide ja heli eeltreenitud mudelitele. Arendajad kasutavad seda mudelite allalaadimiseks Hugging Face Hubist, katsetamiseks, oma andmetele kohandamiseks või kohalikuks käitamiseks. Alates versioonist 5 keskendub teek peamiselt PyTorchile (seisuga oktoober 2026). Näide: meeskond testib sentimendianalüüsi mudelit vaid mõne koodireaga.
Transformer on närvivõrgu arhitektuur, mis tutvustati 2017. aastal uurimistöös „Attention Is All You Need“. Selle tuumaks on tähelepanumehhanism: iga sõna kaalutakse suhtes kõigi teiste sõnadega tekstis ning arvutust saab tõhusalt paralleliseerida. Transformerid on tänapäeva keelemudelite, nagu GPT, Claude ja BERT, aluseks ning neid kasutatakse ka piltide ja heli jaoks.
Suur keelemudel (large language model, LLM) on närvivõrk, mis on treenitud väga suurte tekstihulkadega, mis võimaldab sellel keelest aru saada ja keelt luua. See töötab, arvutades samm-sammult kõige tõenäolisema järgmise tokeni. LLM-id kirjutavad, võtavad kokku, tõlgivad, vastavad küsimustele ja genereerivad koodi; tuntud näited on Claude, GPT, Gemini ja Llama. Ilma juurdepääsuta värsketele allikatele teavad nad ainult seda, mis oli nende treeningandmetes.
PyTorch on avatud lähtekoodiga raamistik masinõppeks ja süvaõppeks Pythoni programmeerimiskeeles. See töötati algselt välja Metas (tollal Facebook) ning seda haldab alates 2022. aastast Linux Foundationi alla kuuluv PyTorch Foundation. PyTorchi kasutatakse laialdaselt teaduses ja tööstuses, sest see võimaldab arendajatel mudeleid paindlikult ehitada, GPU-del treenida ja samm-sammult testida; paljud tuntud keele- ja pildimudelid on sellega ehitatud.
Peenhäälestus (fine-tuning) tähendab juba eeltreenitud TI-mudeli edasitreenimist täiendavate, tavaliselt ülesandespetsiifiliste andmetega. Mudeli sisemisi kaalusid kohandatakse nii, et see tuleb näiteks kindla kirjutusstiili, erialasõnavara või väljundivorminguga usaldusväärsemalt toime. Peenhäälestus nõuab hoolikalt ette valmistatud näiteandmeid, arvutusvõimsust ja testimist. Paljude rakenduste jaoks piisab hästi kirjutatud juhistest ja ühendatud teadmistest ning neid on lihtsam muuta.
