Glossario

Long Short-Term Memory (LSTM)

Che cos’è Long Short-Term Memory (LSTM)?

Long Short-Term Memory (LSTM) è un tipo di rete neurale ricorrente in grado di conservare informazioni lungo sequenze lunghe. Dei meccanismi chiamati gate decidono a ogni passo che cosa memorizzare, dimenticare o restituire, attenuando il problema della scomparsa del gradiente. Per anni le LSTM hanno caratterizzato riconoscimento vocale, traduzione e previsione di serie temporali. Nell’elaborazione del linguaggio sono state in gran parte sostituite dai transformer, ma restano diffuse per i dati dei sensori.

Temi

reti neurali
sequenze
deep learning

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

LSTM bidirezionale

Una LSTM bidirezionale (BiLSTM) è una rete neurale ricorrente che legge una sequenza contemporaneamente dall'inizio alla fine e dalla fine all'inizio, combinando le due prospettive. In questo modo per ogni parola si tiene conto anche del contesto successivo. Prima dell'affermazione dei transformer era una scelta standard per compiti come l'etichettatura delle parti del discorso, il riconoscimento di entità nominate o il riconoscimento vocale. Per testi molto lunghi e grandi quantità di dati oggi i transformer sono in genere superiori.

Reti neurali
Modelli sequenziali
+1

Rete neurale ricorrente (RNN)

Una rete neurale ricorrente elabora i dati in sequenza e a ogni passo trasmette al successivo uno stato interno, una sorta di memoria a breve termine. Per questo è adatta a sequenze come testo, voce o serie temporali, ad esempio per prevedere la parola successiva o il prossimo valore di un sensore. Le RNN semplici dimenticano facilmente informazioni lontane; varianti come LSTM e GRU attenuano il problema. Nei modelli linguistici le RNN sono state in gran parte sostituite dai transformer.

reti neurali
sequenze
+1

Modellazione di sequenze

La modellazione di sequenze comprende metodi che elaborano e prevedono dati con un ordine preciso, in cui conta la posizione di ogni elemento. Sequenze tipiche sono testo, linguaggio parlato, serie temporali come vendite o valori di sensori e segmenti di DNA. Le applicazioni vanno da traduzione e generazione di testo al riconoscimento vocale e alle previsioni di vendita. Si sono usati modelli di Markov nascosti e reti ricorrenti; oggi per il linguaggio dominano i modelli transformer.

sequenze
deep learning
+1

Transformer

Il Transformer è un'architettura di rete neurale presentata nel 2017 nell'articolo scientifico «Attention Is All You Need». Il suo cuore è il meccanismo di attenzione: ogni parola viene pesata in relazione a tutte le altre parole del testo, e il calcolo si presta bene alla parallelizzazione. I Transformer sono alla base degli odierni modelli linguistici come GPT, Claude o BERT e si usano anche per immagini e audio.

Architettura
Deep learning
+1