Modeliranje nizova obuhvaća metode koje obrađuju i predviđaju podatke u utvrđenom redoslijedu, pri čemu je položaj svakog elementa važan. Tipični nizovi su tekst, govorni jezik, vremenske serije poput prodaje ili očitanja senzora te segmenti DNK. Primjene sežu od prevođenja i generiranja teksta do prepoznavanja govora i prognoziranja prodaje. Za to su se koristili skriveni Markovljevi modeli i rekurentne mreže; danas za jezik dominiraju transformerski modeli.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoRekurentna neuronska mreža obrađuje podatke redom i prenosi unutarnje stanje iz svakog koraka u sljedeći – svojevrsnu kratkoročnu memoriju. Zato je prikladna za nizove poput teksta, govora ili vremenskih serija, primjerice za predviđanje sljedeće riječi ili sljedećeg očitanja senzora. Jednostavne RNN-ove lako zaboravljaju informacije iz daleke prošlosti; varijante poput LSTM-a i GRU-a to ublažavaju. Kod jezičnih modela RNN-ove su uglavnom zamijenili transformeri.
Dugo kratkoročno pamćenje (LSTM, Long Short-Term Memory) vrsta je rekurentne neuronske mreže koja može zadržati informacije kroz duge nizove. Tzv. vrata u svakom koraku odlučuju što pohraniti, zaboraviti ili isporučiti, čime se ublažava problem nestajućeg gradijenta. Dugi niz godina LSTM-ovi su oblikovali prepoznavanje govora, prevođenje i prognoziranje vremenskih nizova. U obradi jezika uglavnom su ih zamijenili transformeri, ali i dalje su uobičajeni za podatke senzora.
Transformer je arhitektura neuronskih mreža predstavljena 2017. u istraživačkom radu „Attention Is All You Need“. U njezinoj je jezgri mehanizam pažnje: svaka riječ vaga se u odnosu na sve ostale riječi u tekstu, a izračun se može učinkovito paralelizirati. Transformeri su temelj današnjih jezičnih modela poput GPT-a, Claudea i BERT-a, a koriste se i za slike i zvuk.
Skriveni Markovljev model (HMM) statistički je model za nizove u kojem su stvarna stanja skrivena i mogu se zaključiti samo iz vidljivih signala. Opisuje vjerojatnost da jedno stanje slijedi drugo i da svako stanje proizvodi određeno opažanje. HMM-ovi su dugo bili standard u prepoznavanju govora i označavanju vrsta riječi; danas se još koriste, primjerice, u bioinformatici i analizi vremenskih nizova.
