Il Q-learning è un metodo fondamentale dell'apprendimento per rinforzo. Un agente impara per tentativi quale valore a lungo termine (il «valore Q») ha una certa azione in una certa situazione e, col tempo, sceglie le azioni più promettenti. Non ha bisogno di un modello dell'ambiente. Combinato con le reti neurali (deep Q-learning), ha permesso a un sistema di DeepMind di imparare a giocare a numerosi videogiochi Atari partendo solo dai pixel dello schermo.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoL'apprendimento per rinforzo (reinforcement learning) è un ramo dell'apprendimento automatico in cui un agente impara per tentativi ed errori. Agisce in un ambiente, riceve ricompense per i buoni risultati e penalità per quelli cattivi, e sviluppa così una strategia che massimizza il beneficio complessivo. Esempi noti sono i programmi che padroneggiano giochi da tavolo come il Go, il controllo di robot e l'affinamento dei modelli linguistici sulla base di valutazioni umane.
L'RLHF è un metodo di addestramento che rende i modelli linguistici più utili e sicuri. Alcune persone confrontano e valutano più risposte del modello; da questi giudizi si addestra un modello di ricompensa, che poi riaddestra il modello linguistico tramite apprendimento per rinforzo. Così il modello impara, ad esempio, a rispondere in modo più chiaro o a rifiutare richieste problematiche. L'RLHF avviene presso il fornitore del modello prima del rilascio, non presso i singoli utenti.
I metodi Monte Carlo sono procedure di calcolo che, grazie a un numero molto elevato di campioni casuali, approssimano risultati difficili da ottenere per via analitica. Si simula un sistema migliaia di volte con ipotesi variate a caso e si analizza la distribuzione dei risultati. Le aziende li usano ad esempio per analisi del rischio, pianificazione dei progetti o valutazione di portafogli. Nell’IA trovano impiego, tra l’altro, nell’apprendimento per rinforzo e nella ricerca ad albero nei giochi.
Le reti neurali artificiali (RNA) sono modelli di calcolo composti da molte unità collegate («neuroni»), disposte in strati, che elaborano gli input tramite connessioni pesate. Durante l'addestramento i pesi vengono regolati passo dopo passo sulla base di esempi, di solito con la backpropagation. Le RNA sono alla base del deep learning e si trovano nel riconoscimento di immagini e del parlato e nei grandi modelli linguistici. Nonostante l'ispirazione biologica, funzionano in modo molto più semplice del cervello umano.
