Gensim è una libreria Python open source per analizzare grandi raccolte di testi. È nota per i modelli di argomenti come LDA, per l’addestramento di vettori di parole (ad esempio Word2Vec, FastText, Doc2Vec) e per i confronti di somiglianza tra documenti. Poiché elabora i dati a blocchi, gestisce anche corpora che non entrano nella memoria. Un uso tipico: raggruppare automaticamente migliaia di commenti dei clienti per temi ricorrenti.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoI word embedding rappresentano le parole come vettori numerici, in modo che parole di significato simile siano vicine nello spazio vettoriale, come «auto» e «veicolo». Metodi come Word2Vec o GloVe apprendono questi vettori da grandi quantità di testo. Sono stati un passo importante nell'elaborazione del linguaggio, ad esempio per ricerca e classificazione; gli odierni modelli linguistici usano embedding contestuali, in cui una parola è rappresentata in modo diverso a seconda della frase.
NLTK (Natural Language Toolkit) è una libreria Python open source per l’elaborazione del linguaggio naturale, nata all’inizio degli anni 2000 presso la University of Pennsylvania. Offre strumenti per tokenizzazione, stemming, etichettatura delle parti del discorso e classificazione semplice, oltre all’accesso a numerosi corpora testuali. È diffusa soprattutto nella didattica e nella ricerca; per applicazioni in produzione si usano spesso librerie come spaCy o modelli transformer.
spaCy è una libreria Python open source per l'elaborazione del linguaggio naturale, sviluppata dall'azienda berlinese Explosion. Suddivide i testi in parole e frasi, individua categorie grammaticali e forme base, analizza la struttura delle frasi e riconosce entità nominate come persone, aziende o luoghi. Esistono modelli preaddestrati per molte lingue, tra cui l'italiano. spaCy è pensata per la velocità e l'uso in applicazioni reali, ad esempio per pre-elaborare grandi quantità di documenti.
L'elaborazione del linguaggio naturale (Natural Language Processing) è il ramo dell'IA che permette ai computer di analizzare, comprendere e generare il linguaggio umano scritto o parlato. Comprende compiti come traduzione, classificazione, riassunto, analisi del sentiment e sistemi di domanda-risposta. Un tempo dominavano regole e metodi statistici; oggi il settore è plasmato dai grandi modelli linguistici.
