Речник

Long Short-Term Memory (LSTM)

Какво е Long Short-Term Memory (LSTM)?

Long Short-Term Memory (LSTM) е вид рекурентна невронна мрежа, която може да запазва информация в дълги последователности. Така наречените гейтове решават на всяка стъпка какво да се запази, забрави или изведе, което смекчава проблема с изчезващия градиент. В продължение на много години LSTM оформят разпознаването на реч, превода и прогнозирането на времеви редове. При обработката на език те са до голяма степен заменени от трансформъри, но остават разпространени за данни от сензори.

Теми

невронни мрежи
последователности
дълбоко обучение

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Двупосочна LSTM

Двупосочната LSTM (BiLSTM) е рекурентна невронна мрежа, която чете последователност както напред, така и назад и съчетава двата изгледа. Това означава, че се отчита и контекстът, който следва всяка дума. Преди трансформърите да доминират, тя беше стандартен избор за задачи като определяне на частите на речта, разпознаване на именувани обекти и разпознаване на реч. При много дълги текстове и големи масиви от данни трансформърите днес обикновено се представят по-добре.

Невронни мрежи
Модели за последователности
+1

Рекурентна невронна мрежа (RNN)

Рекурентната невронна мрежа обработва данните последователно и предава вътрешно състояние от всяка стъпка към следващата – един вид краткосрочна памет. Това я прави подходяща за последователности като текст, реч или времеви редове, например за предвиждане на следващата дума или на следващото показание на сензор. Простите RNN лесно забравят информация от далечното минало; варианти като LSTM и GRU смекчават този проблем. При езиковите модели RNN до голяма степен са заменени от трансформъри.

невронни мрежи
последователности
+1

Моделиране на последователности

Моделирането на последователности обхваща методи, които обработват и предвиждат данни в определен ред, при който позицията на всеки елемент има значение. Типични последователности са текст, говорим език, времеви редове като продажби или показания на сензори, и сегменти от ДНК. Приложенията варират от превод и генериране на текст до разпознаване на реч и прогнозиране на продажбите. За целта са използвани скрити марковски модели и рекурентни мрежи; днес при езика доминират трансформър моделите.

последователности
дълбоко обучение
+1

Transformer

Трансформърът е архитектура на невронна мрежа, представена през 2017 г. в научната статия „Attention Is All You Need“. В основата ѝ е механизмът на вниманието: всяка дума се претегля във връзка с всички останали думи в текста, а изчислението може да се паралелизира ефективно. Трансформърите са в основата на днешните езикови модели като GPT, Claude и BERT и се използват също за изображения и аудио.

Архитектура
Дълбоко обучение
+1