Речник

Моделиране на последователности

Какво е Моделиране на последователности?

Моделирането на последователности обхваща методи, които обработват и предвиждат данни в определен ред, при който позицията на всеки елемент има значение. Типични последователности са текст, говорим език, времеви редове като продажби или показания на сензори, и сегменти от ДНК. Приложенията варират от превод и генериране на текст до разпознаване на реч и прогнозиране на продажбите. За целта са използвани скрити марковски модели и рекурентни мрежи; днес при езика доминират трансформър моделите.

Теми

последователности
дълбоко обучение
времеви редове

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Рекурентна невронна мрежа (RNN)

Рекурентната невронна мрежа обработва данните последователно и предава вътрешно състояние от всяка стъпка към следващата – един вид краткосрочна памет. Това я прави подходяща за последователности като текст, реч или времеви редове, например за предвиждане на следващата дума или на следващото показание на сензор. Простите RNN лесно забравят информация от далечното минало; варианти като LSTM и GRU смекчават този проблем. При езиковите модели RNN до голяма степен са заменени от трансформъри.

невронни мрежи
последователности
+1

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) е вид рекурентна невронна мрежа, която може да запазва информация в дълги последователности. Така наречените гейтове решават на всяка стъпка какво да се запази, забрави или изведе, което смекчава проблема с изчезващия градиент. В продължение на много години LSTM оформят разпознаването на реч, превода и прогнозирането на времеви редове. При обработката на език те са до голяма степен заменени от трансформъри, но остават разпространени за данни от сензори.

невронни мрежи
последователности
+1

Transformer

Трансформърът е архитектура на невронна мрежа, представена през 2017 г. в научната статия „Attention Is All You Need“. В основата ѝ е механизмът на вниманието: всяка дума се претегля във връзка с всички останали думи в текста, а изчислението може да се паралелизира ефективно. Трансформърите са в основата на днешните езикови модели като GPT, Claude и BERT и се използват също за изображения и аудио.

Архитектура
Дълбоко обучение
+1

Скрит марковски модел (HMM)

Скритият марковски модел (hidden Markov model, HMM) е статистически модел за последователности, в който действителните състояния са скрити и могат да бъдат изведени само от наблюдаеми сигнали. Той описва вероятността едно състояние да следва друго и всяко състояние да поражда дадено наблюдение. HMM дълго време са стандарт в разпознаването на реч и в определянето на частите на речта; днес все още се използват например в биоинформатиката и анализа на времеви редове.

Статистика
Модели за последователности
+1