Двупосочната LSTM (BiLSTM) е рекурентна невронна мрежа, която чете последователност както напред, така и назад и съчетава двата изгледа. Това означава, че се отчита и контекстът, който следва всяка дума. Преди трансформърите да доминират, тя беше стандартен избор за задачи като определяне на частите на речта, разпознаване на именувани обекти и разпознаване на реч. При много дълги текстове и големи масиви от данни трансформърите днес обикновено се представят по-добре.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоLong Short-Term Memory (LSTM) е вид рекурентна невронна мрежа, която може да запазва информация в дълги последователности. Така наречените гейтове решават на всяка стъпка какво да се запази, забрави или изведе, което смекчава проблема с изчезващия градиент. В продължение на много години LSTM оформят разпознаването на реч, превода и прогнозирането на времеви редове. При обработката на език те са до голяма степен заменени от трансформъри, но остават разпространени за данни от сензори.
Рекурентната невронна мрежа обработва данните последователно и предава вътрешно състояние от всяка стъпка към следващата – един вид краткосрочна памет. Това я прави подходяща за последователности като текст, реч или времеви редове, например за предвиждане на следващата дума или на следващото показание на сензор. Простите RNN лесно забравят информация от далечното минало; варианти като LSTM и GRU смекчават този проблем. При езиковите модели RNN до голяма степен са заменени от трансформъри.
Моделирането на последователности обхваща методи, които обработват и предвиждат данни в определен ред, при който позицията на всеки елемент има значение. Типични последователности са текст, говорим език, времеви редове като продажби или показания на сензори, и сегменти от ДНК. Приложенията варират от превод и генериране на текст до разпознаване на реч и прогнозиране на продажбите. За целта са използвани скрити марковски модели и рекурентни мрежи; днес при езика доминират трансформър моделите.
Разпознаването на именувани обекти (Named entity recognition, NER) е техника от обработката на естествен език, която намира в текста имена на хора, фирми и места, както и дати или суми, и отнася всяко към категория. Така свободният текст се превръща в структурирани данни. Пример: фирмата на подателя, лицето за контакт, датата на доставка и сумата по фактурата се извличат автоматично от имейл и се прехвърлят в CRM.
