Glossario

Normalizzazione batch

Che cos’è Normalizzazione batch?

La normalizzazione batch (batch normalization) è una tecnica per l'addestramento di reti neurali profonde che riporta i valori intermedi di uno strato, per ogni lotto di dati, a media e dispersione uniformi. L'addestramento diventa così più stabile e spesso più rapido, e la rete è meno sensibile ai valori iniziali. Presentata nel 2015, è diffusa soprattutto nelle reti per il riconoscimento di immagini; i transformer usano di solito la layer normalization, una tecnica affine.

Temi

Deep learning
Addestramento
Reti neurali

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Deep learning

Il deep learning (apprendimento profondo) è un ramo del machine learning che utilizza reti neurali artificiali con molti strati. Queste reti imparano da grandi quantità di dati quali caratteristiche sono rilevanti, dai bordi nelle immagini ai legami di significato nei testi. Il deep learning è alla base degli attuali modelli linguistici, del riconoscimento di immagini e voce e della traduzione automatica, e di solito richiede molta potenza di calcolo e molti dati di addestramento.

reti neurali
machine learning
+1

Dropout

Il dropout è una tecnica di regolarizzazione usata nell'addestramento delle reti neurali: a ogni passo di addestramento una parte casuale dei neuroni viene disattivata temporaneamente. Così la rete non può affidarsi a singole connessioni e apprende schemi più robusti. Ciò riduce l'overfitting, cioè la semplice memorizzazione dei dati di addestramento. Quando il modello finito viene poi usato, tutti i neuroni tornano attivi.

addestramento
regolarizzazione
+1

Regolarizzazione

La regolarizzazione comprende tecniche che impediscono a un modello di adattarsi troppo ai dati di addestramento (overfitting). Ad esempio si penalizzano pesi troppo grandi (regolarizzazione L1 o L2), si disattivano neuroni a caso (dropout) o si interrompe l'addestramento al momento giusto (early stopping). L'obiettivo è un modello più semplice che funzioni meglio su dati nuovi, anche se ottiene risultati leggermente peggiori sui dati di addestramento.

addestramento
overfitting
+1

Discesa del gradiente

La discesa del gradiente è il metodo di ottimizzazione con cui si addestra la maggior parte dei modelli di IA. Si misura l’errore del modello, si calcola in quale direzione devono cambiare i parametri per ridurlo e si compie un piccolo passo in quella direzione, ripetendo il processo. È come un escursionista nella nebbia che scende sempre lungo il pendio per raggiungere la valle. L’ampiezza del passo (learning rate) determina velocità e stabilità.

Ottimizzazione
Addestramento
+1