Si parla di scarsità di dati quando per un compito di IA mancano dati adatti o etichettati in quantità sufficiente per addestrare o verificare un modello in modo affidabile. Riguarda, ad esempio, difetti rari in produzione, lingue minoritarie o nuovi prodotti senza storico di vendita. Le contromisure sono transfer learning, dati sintetici, data augmentation o modelli linguistici preaddestrati che danno risultati utili già con pochi esempi.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoI dati sintetici sono generati artificialmente anziché raccolti nel mondo reale, ma ne riproducono schemi e caratteristiche. Sono utili quando i dati reali sono scarsi, costosi o delicati dal punto di vista della protezione dei dati, ad esempio per testare software, addestrare modelli o verificare un chatbot con richieste di esempio realistiche. È importante che rappresentino la realtà in modo sufficiente e non permettano di risalire a persone reali.
Nel transfer learning un modello che ha già imparato un compito ampio e generale viene usato come punto di partenza per un compito nuovo e specifico. Invece di partire da zero, lo si adatta, ad esempio con il fine-tuning, usando relativamente pochi dati propri. Si risparmiano così calcolo e dati, ad esempio quando un modello generico per immagini deve imparare a riconoscere difetti di produzione nelle foto.
Il few-shot learning è la capacità di un modello di svolgere un compito partendo da pochi esempi. Con i modelli linguistici avviene di solito direttamente nell’input: si mostrano due o tre coppie di domanda e risposta desiderata, e il modello applica formato e stile ai nuovi casi, senza ulteriore addestramento. Esempio: tre richieste di clienti classificate correttamente spesso bastano perché le successive vengano ordinate con lo stesso schema.
I dati di addestramento sono gli esempi da cui un modello di IA apprende schemi: grandi raccolte di testi per i modelli linguistici, immagini etichettate per quelli visivi. La loro qualità, varietà e attualità determinano in larga misura quanto un modello sarà affidabile ed equo e quanto aggiornate saranno le sue conoscenze. Per le aziende conta inoltre se un fornitore usa i dati dei clienti per ulteriori addestramenti.
