Le funzioni di attivazione stabiliscono con quale intensità un neurone di una rete neurale artificiale trasmette il proprio segnale. Introducono la non linearità: solo così la rete può rappresentare relazioni complesse come il linguaggio o le immagini. Esempi diffusi sono ReLU, che azzera i valori negativi, la sigmoide per probabilità tra 0 e 1 e GELU, usata in molti modelli transformer. La scelta influisce su velocità e stabilità dell'addestramento.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoLe reti neurali artificiali (RNA) sono modelli di calcolo composti da molte unità collegate («neuroni»), disposte in strati, che elaborano gli input tramite connessioni pesate. Durante l'addestramento i pesi vengono regolati passo dopo passo sulla base di esempi, di solito con la backpropagation. Le RNA sono alla base del deep learning e si trovano nel riconoscimento di immagini e del parlato e nei grandi modelli linguistici. Nonostante l'ispirazione biologica, funzionano in modo molto più semplice del cervello umano.
La retropropagazione dell'errore (backpropagation) è il metodo standard con cui le reti neurali apprendono. Dopo ogni previsione si misura l'errore e lo si propaga all'indietro attraverso gli strati della rete, calcolando quanto ciascun peso vi abbia contribuito. Un metodo di ottimizzazione come la discesa del gradiente aggiorna poi i pesi passo dopo passo. Senza backpropagation l'addestramento degli attuali modelli linguistici e visivi sarebbe praticamente impossibile.
Il deep learning (apprendimento profondo) è un ramo del machine learning che utilizza reti neurali artificiali con molti strati. Queste reti imparano da grandi quantità di dati quali caratteristiche sono rilevanti, dai bordi nelle immagini ai legami di significato nei testi. Il deep learning è alla base degli attuali modelli linguistici, del riconoscimento di immagini e voce e della traduzione automatica, e di solito richiede molta potenza di calcolo e molti dati di addestramento.
