Речник

Рекурентна невронна мрежа (RNN)

Какво е Рекурентна невронна мрежа (RNN)?

Рекурентната невронна мрежа обработва данните последователно и предава вътрешно състояние от всяка стъпка към следващата – един вид краткосрочна памет. Това я прави подходяща за последователности като текст, реч или времеви редове, например за предвиждане на следващата дума или на следващото показание на сензор. Простите RNN лесно забравят информация от далечното минало; варианти като LSTM и GRU смекчават този проблем. При езиковите модели RNN до голяма степен са заменени от трансформъри.

Теми

невронни мрежи
последователности
дълбоко обучение

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) е вид рекурентна невронна мрежа, която може да запазва информация в дълги последователности. Така наречените гейтове решават на всяка стъпка какво да се запази, забрави или изведе, което смекчава проблема с изчезващия градиент. В продължение на много години LSTM оформят разпознаването на реч, превода и прогнозирането на времеви редове. При обработката на език те са до голяма степен заменени от трансформъри, но остават разпространени за данни от сензори.

невронни мрежи
последователности
+1

Двупосочна LSTM

Двупосочната LSTM (BiLSTM) е рекурентна невронна мрежа, която чете последователност както напред, така и назад и съчетава двата изгледа. Това означава, че се отчита и контекстът, който следва всяка дума. Преди трансформърите да доминират, тя беше стандартен избор за задачи като определяне на частите на речта, разпознаване на именувани обекти и разпознаване на реч. При много дълги текстове и големи масиви от данни трансформърите днес обикновено се представят по-добре.

Невронни мрежи
Модели за последователности
+1

Моделиране на последователности

Моделирането на последователности обхваща методи, които обработват и предвиждат данни в определен ред, при който позицията на всеки елемент има значение. Типични последователности са текст, говорим език, времеви редове като продажби или показания на сензори, и сегменти от ДНК. Приложенията варират от превод и генериране на текст до разпознаване на реч и прогнозиране на продажбите. За целта са използвани скрити марковски модели и рекурентни мрежи; днес при езика доминират трансформър моделите.

последователности
дълбоко обучение
+1

Transformer

Трансформърът е архитектура на невронна мрежа, представена през 2017 г. в научната статия „Attention Is All You Need“. В основата ѝ е механизмът на вниманието: всяка дума се претегля във връзка с всички останали думи в текста, а изчислението може да се паралелизира ефективно. Трансформърите са в основата на днешните езикови модели като GPT, Claude и BERT и се използват също за изображения и аудио.

Архитектура
Дълбоко обучение
+1