Glossario

BERT

Che cos’è BERT?

BERT (Bidirectional Encoder Representations from Transformers) è un modello linguistico presentato da Google nel 2018. A differenza dei modelli precedenti, considera contemporaneamente il contesto a sinistra e a destra di una parola e comprende così meglio le ambiguità. BERT è pensato per la comprensione del testo, non per scrivere testi lunghi. Si usa per ricerca, classificazione dei testi, riconoscimento di entità nominate e risposta alle domande, e ha influenzato molti modelli successivi.

Temi

Modello linguistico
NLP
Transformer

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Transformer

Il Transformer è un'architettura di rete neurale presentata nel 2017 nell'articolo scientifico «Attention Is All You Need». Il suo cuore è il meccanismo di attenzione: ogni parola viene pesata in relazione a tutte le altre parole del testo, e il calcolo si presta bene alla parallelizzazione. I Transformer sono alla base degli odierni modelli linguistici come GPT, Claude o BERT e si usano anche per immagini e audio.

Architettura
Deep learning
+1

Comprensione del linguaggio naturale (NLU)

La comprensione del linguaggio naturale (Natural Language Understanding) è la parte dell'elaborazione del linguaggio che coglie il significato di un enunciato: quale intenzione c'è dietro, quali persone, luoghi o date vengono citati, quale tono ha. Insieme alla generazione del linguaggio (NLG) costituisce uno dei due lati dell'NLP. Un esempio è un servizio clienti che riconosce in «Il mio pacco non è ancora arrivato» una richiesta sulla consegna.

NLP
Riconoscimento intenti
+1

Word embedding

I word embedding rappresentano le parole come vettori numerici, in modo che parole di significato simile siano vicine nello spazio vettoriale, come «auto» e «veicolo». Metodi come Word2Vec o GloVe apprendono questi vettori da grandi quantità di testo. Sono stati un passo importante nell'elaborazione del linguaggio, ad esempio per ricerca e classificazione; gli odierni modelli linguistici usano embedding contestuali, in cui una parola è rappresentata in modo diverso a seconda della frase.

NLP
Vettori
+1

Generative Pre-trained Transformer (GPT)

GPT (Generative Pre-trained Transformer) indica una serie di grandi modelli linguistici sviluppati da OpenAI e basati sull’architettura Transformer. I modelli vengono prima preaddestrati su enormi quantità di testo per prevedere il token successivo e poi addestrati ulteriormente per il dialogo e il rispetto delle istruzioni. Il primo modello GPT è uscito nel 2018; le generazioni successive sono alla base di ChatGPT. Nel linguaggio comune «GPT» è spesso usato per i modelli linguistici in generale.

Modello linguistico
Transformer
+1