Glossario

Transformer

Che cos’è Transformer?

Il Transformer è un'architettura di rete neurale presentata nel 2017 nell'articolo scientifico «Attention Is All You Need». Il suo cuore è il meccanismo di attenzione: ogni parola viene pesata in relazione a tutte le altre parole del testo, e il calcolo si presta bene alla parallelizzazione. I Transformer sono alla base degli odierni modelli linguistici come GPT, Claude o BERT e si usano anche per immagini e audio.

Come aiuta KI.ordo

I modelli Claude di Anthropic usati da KI.ordo sono grandi modelli linguistici basati sull'architettura Transformer.

Temi

Architettura
Deep learning
LLM

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Generative Pre-trained Transformer (GPT)

GPT (Generative Pre-trained Transformer) indica una serie di grandi modelli linguistici sviluppati da OpenAI e basati sull’architettura Transformer. I modelli vengono prima preaddestrati su enormi quantità di testo per prevedere il token successivo e poi addestrati ulteriormente per il dialogo e il rispetto delle istruzioni. Il primo modello GPT è uscito nel 2018; le generazioni successive sono alla base di ChatGPT. Nel linguaggio comune «GPT» è spesso usato per i modelli linguistici in generale.

Modello linguistico
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) è un modello linguistico presentato da Google nel 2018. A differenza dei modelli precedenti, considera contemporaneamente il contesto a sinistra e a destra di una parola e comprende così meglio le ambiguità. BERT è pensato per la comprensione del testo, non per scrivere testi lunghi. Si usa per ricerca, classificazione dei testi, riconoscimento di entità nominate e risposta alle domande, e ha influenzato molti modelli successivi.

Modello linguistico
NLP
+1

Modello linguistico di grandi dimensioni (LLM)

Un modello linguistico di grandi dimensioni (Large Language Model, LLM) è una rete neurale addestrata su enormi quantità di testo, in grado quindi di comprendere e generare linguaggio. Funziona calcolando passo dopo passo il token successivo più probabile. Gli LLM scrivono, riassumono, traducono, rispondono a domande e generano codice; esempi noti sono Claude, GPT, Gemini e Llama. Senza accesso a fonti aggiornate conoscono solo ciò che era nei dati di addestramento.

Modelli linguistici
IA generativa
+1

Hugging Face Transformers

Hugging Face Transformers è una libreria Python open source che rende disponibili modelli preaddestrati per testo, immagini e audio tramite un'interfaccia unica. Gli sviluppatori la usano per scaricare modelli dall'Hugging Face Hub, provarli, adattarli ai propri dati o eseguirli in locale. Dalla versione 5 la libreria punta principalmente su PyTorch (aggiornato a ottobre 2026). Esempio: un team prova un modello di analisi del sentiment con poche righe di codice.

Open source
Libreria
+2