Il model drift è il progressivo calo della qualità predittiva di un modello in esercizio, perché la realtà cambia rispetto ai dati di addestramento. Si distinguono i cambiamenti nei dati in ingresso (data drift) e quelli nella relazione tra input e risultato (concept drift). Esempio: un modello antifrode non riconosce nuovi schemi di frode. I rimedi sono il monitoraggio continuo delle metriche e il riaddestramento periodico.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoLa robustezza del modello descrive quanto un modello di IA funziona in modo affidabile quando gli input sono rumorosi, incompleti, insoliti o manipolati intenzionalmente. Un modello robusto fornisce comunque risultati stabili, ad esempio un riconoscimento di immagini con scarsa illuminazione o un modello linguistico di fronte a errori di battitura. Si verifica con stress test, dati di addestramento variati e prove contro tentativi di inganno, ed è cruciale nelle applicazioni critiche per la sicurezza.
I dati di addestramento sono gli esempi da cui un modello di IA apprende schemi: grandi raccolte di testi per i modelli linguistici, immagini etichettate per quelli visivi. La loro qualità, varietà e attualità determinano in larga misura quanto un modello sarà affidabile ed equo e quanto aggiornate saranno le sue conoscenze. Per le aziende conta inoltre se un fornitore usa i dati dei clienti per ulteriori addestramenti.
MLflow è una piattaforma open source per gestire l’intero ciclo di vita dei modelli di machine learning, presentata originariamente da Databricks nel 2018. Registra gli esperimenti con parametri e metriche, gestisce le versioni dei modelli in un registro e semplifica la messa in produzione. Le versioni più recenti supportano anche il tracciamento e la valutazione di applicazioni basate su modelli linguistici. I team possono così ricostruire con quali dati e impostazioni è nato ogni modello.
L’accuratezza indica quanto spesso un modello di IA fornisce risultati corretti; la stabilità, quanto queste prestazioni restano affidabili con input leggermente diversi, nuovi dati o nel tempo. Un modello può essere molto accurato nei test e tuttavia instabile, se basta riformulare una domanda per ottenere un’altra risposta. Per l’uso reale entrambe le proprietà si verificano con casi di test fissi, validazione incrociata e monitoraggio continuo.
