Glossario

Pathways Language Model (PaLM)

Che cos’è Pathways Language Model (PaLM)?

PaLM è un grande modello linguistico di Google, presentato nel 2022 con 540 miliardi di parametri e addestrato su molti chip TPU contemporaneamente grazie al sistema di addestramento Pathways. Nel 2023 è arrivato PaLM 2, che alimentava tra l'altro il chatbot Bard. Google ha poi sostituito PaLM con i modelli Gemini e l'API PaLM per sviluppatori è stata disattivata nell'agosto 2024. Oggi PaLM conta soprattutto come tappa nell'evoluzione dei grandi modelli linguistici.

Temi

modello linguistico
Google
storia dei modelli

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Modello linguistico di grandi dimensioni (LLM)

Un modello linguistico di grandi dimensioni (Large Language Model, LLM) è una rete neurale addestrata su enormi quantità di testo, in grado quindi di comprendere e generare linguaggio. Funziona calcolando passo dopo passo il token successivo più probabile. Gli LLM scrivono, riassumono, traducono, rispondono a domande e generano codice; esempi noti sono Claude, GPT, Gemini e Llama. Senza accesso a fonti aggiornate conoscono solo ciò che era nei dati di addestramento.

Modelli linguistici
IA generativa
+1

Transformer

Il Transformer è un'architettura di rete neurale presentata nel 2017 nell'articolo scientifico «Attention Is All You Need». Il suo cuore è il meccanismo di attenzione: ogni parola viene pesata in relazione a tutte le altre parole del testo, e il calcolo si presta bene alla parallelizzazione. I Transformer sono alla base degli odierni modelli linguistici come GPT, Claude o BERT e si usano anche per immagini e audio.

Architettura
Deep learning
+1

Modello fondazionale

Un modello fondazionale (foundation model) è un grande modello di IA preaddestrato su dati molto ampi e variegati, che si può poi usare per molti compiti diversi. Il termine è stato coniato all’Università di Stanford nel 2021. Esempi noti sono i grandi modelli linguistici come Claude o GPT, oltre ai modelli per immagini. Le aziende in genere costruiscono le proprie applicazioni su questi modelli invece di addestrarne di propri; il regolamento europeo sull’IA parla di modelli di IA per finalità generali.

Modello di base
Modelli linguistici
+1

Generative Pre-trained Transformer (GPT)

GPT (Generative Pre-trained Transformer) indica una serie di grandi modelli linguistici sviluppati da OpenAI e basati sull’architettura Transformer. I modelli vengono prima preaddestrati su enormi quantità di testo per prevedere il token successivo e poi addestrati ulteriormente per il dialogo e il rispetto delle istruzioni. Il primo modello GPT è uscito nel 2018; le generazioni successive sono alla base di ChatGPT. Nel linguaggio comune «GPT» è spesso usato per i modelli linguistici in generale.

Modello linguistico
Transformer
+1