Andmete nappus tekib siis, kui TI-ülesande jaoks on liiga vähe sobivaid või märgendatud andmeid, et mudelit usaldusväärselt treenida või testida. See puudutab näiteks harvu tootmisvigu, väikeseid keeli või uusi tooteid, mille müügiajalugu puudub. Lahendusteks on siirdeõpe (transfer learning), sünteetilised andmed, andmete augmentatsioon või eeltreenitud keelemudelid, mis annavad kasulikke tulemusi juba paarist näitest.
Sünteetilised andmed luuakse kunstlikult, mitte ei koguta päriselust, kuid need jäljendavad päris andmete mustreid ja omadusi. See aitab, kui tõelisi andmeid on vähe, need on kallid või andmekaitse seisukohast tundlikud – näiteks tarkvara testimiseks, mudelite treenimiseks või vestlusroboti kontrollimiseks realistlike näidispäringutega. Oluline on, et need peegeldaksid tegelikkust piisavalt täpselt ega võimaldaks teha järeldusi päris inimeste kohta.
Siirdeõppes (transfer learning) on lähtepunktiks mudel, mis on juba õppinud suure üldise ülesande, uue spetsialiseeritud ülesande jaoks. Nullist alustamise asemel kohandatakse seda, näiteks peenhäälestuse abil, võrdlemisi vähese omaandmestikuga. See säästab arvutusaega ja andmeid, näiteks kui üldine pildimudel peab õppima fotodelt tootmisdefekte märkama.
Few-shot learning on mudeli võime lahendada ülesanne vaid käputäie näidete põhjal. Keelemudelite puhul toimub see tavaliselt otse sisendis: näidatakse kahte-kolme küsimuse ja soovitud vastuse paari ning mudel rakendab sama vormingut ja stiili uutele juhtudele – ilma ümbertreenimiseta. Näide: kolm õigesti kategoriseeritud klienditaotlust on sageli piisav, et ka järgmised taotlused samamoodi sorteerida.
Treeningandmed on näited, millest TI-mudel mustreid õpib: suured tekstikogud keelemudelite jaoks, märgendatud pildid pildimudelite jaoks. Nende kvaliteet, mitmekesisus ja värskus määravad suuresti, kui usaldusväärne ja õiglane mudel on ning kui ajakohased on selle teadmised. Organisatsioonide jaoks on oluline ka see, kas pakkuja kasutab nende sisestatud kliendiandmeid edasiseks treenimiseks.
