Γλωσσάριο

Gensim

Τι είναι Gensim;

Το Gensim είναι μια βιβλιοθήκη ανοικτού κώδικα σε Python για την ανάλυση μεγάλων συλλογών κειμένου. Είναι γνωστή για θεματικά μοντέλα όπως το LDA, για την εκπαίδευση διανυσμάτων λέξεων (π.χ. Word2Vec, FastText και Doc2Vec) και για τη σύγκριση εγγράφων ως προς την ομοιότητα. Επειδή το Gensim επεξεργάζεται τα δεδομένα τμηματικά, μπορεί να χειριστεί και σώματα κειμένων που δεν χωρούν στη μνήμη. Τυπική χρήση: η αυτόματη ομαδοποίηση χιλιάδων σχολίων πελατών ανά επαναλαμβανόμενα θέματα.

Θέματα

Βιβλιοθήκη Python
θεματική μοντελοποίηση
NLP

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Word embeddings

Τα word embeddings αναπαριστούν λέξεις ως αριθμητικά διανύσματα, ώστε λέξεις με παρόμοιο νόημα να βρίσκονται κοντά στον διανυσματικό χώρο, όπως «αυτοκίνητο» και «όχημα». Μέθοδοι όπως το Word2Vec ή το GloVe μαθαίνουν αυτά τα διανύσματα από μεγάλες ποσότητες κειμένου. Αποτέλεσαν σημαντικό βήμα στην επεξεργασία γλώσσας, για παράδειγμα για αναζήτηση ή ταξινόμηση· τα σημερινά γλωσσικά μοντέλα χρησιμοποιούν συμφραζόμενα embeddings, στα οποία μια λέξη αναπαρίσταται διαφορετικά ανάλογα με την πρόταση.

NLP
διανύσματα
+1

NLTK

Το NLTK (Natural Language Toolkit) είναι μια βιβλιοθήκη Python ανοικτού κώδικα για την επεξεργασία φυσικής γλώσσας, που δημιουργήθηκε στο Πανεπιστήμιο της Πενσιλβάνια στις αρχές της δεκαετίας του 2000. Παρέχει εργαλεία για τμηματοποίηση σε tokens, stemming, επισημείωση μερών του λόγου και απλή ταξινόμηση, καθώς και πρόσβαση σε πολλά σώματα κειμένων. Το NLTK χρησιμοποιείται κυρίως στην εκπαίδευση και στην έρευνα· οι εφαρμογές παραγωγής συχνά στηρίζονται σε βιβλιοθήκες όπως το spaCy ή σε μοντέλα transformer.

Python
επεξεργασία γλώσσας
+1

spaCy

Το spaCy είναι μια βιβλιοθήκη Python ανοικτού κώδικα για επεξεργασία φυσικής γλώσσας, που αναπτύσσεται από τη βερολινέζικη εταιρεία Explosion. Διαχωρίζει τα κείμενα σε λέξεις και προτάσεις, προσδιορίζει μέρη του λόγου και βασικές μορφές, αναλύει τη δομή των προτάσεων και αναγνωρίζει ονομασμένες οντότητες όπως πρόσωπα, εταιρείες ή τόπους. Διατίθενται προεκπαιδευμένα μοντέλα για πολλές γλώσσες, συμπεριλαμβανομένων των γερμανικών. Το spaCy έχει σχεδιαστεί για ταχύτητα και για χρήση σε πραγματικές εφαρμογές, για παράδειγμα για την προεπεξεργασία μεγάλων όγκων εγγράφων.

NLP
Python
+1

Επεξεργασία φυσικής γλώσσας (NLP)

Η επεξεργασία φυσικής γλώσσας είναι ο κλάδος της ΤΝ που επιτρέπει στους υπολογιστές να αναλύουν, να κατανοούν και να παράγουν ανθρώπινη γλώσσα σε κείμενο ή ομιλία. Καλύπτει εργασίες όπως η μετάφραση, η ταξινόμηση, η σύνοψη, η ανάλυση συναισθήματος και η απάντηση ερωτήσεων. Κάποτε κυριαρχούσαν οι κανόνες και οι στατιστικές μέθοδοι· σήμερα ο τομέας διαμορφώνεται από μεγάλα γλωσσικά μοντέλα.

NLP
Γλώσσα
+1