Γλωσσάριο

NLTK

Τι είναι NLTK;

Το NLTK (Natural Language Toolkit) είναι μια βιβλιοθήκη Python ανοικτού κώδικα για την επεξεργασία φυσικής γλώσσας, που δημιουργήθηκε στο Πανεπιστήμιο της Πενσιλβάνια στις αρχές της δεκαετίας του 2000. Παρέχει εργαλεία για τμηματοποίηση σε tokens, stemming, επισημείωση μερών του λόγου και απλή ταξινόμηση, καθώς και πρόσβαση σε πολλά σώματα κειμένων. Το NLTK χρησιμοποιείται κυρίως στην εκπαίδευση και στην έρευνα· οι εφαρμογές παραγωγής συχνά στηρίζονται σε βιβλιοθήκες όπως το spaCy ή σε μοντέλα transformer.

Θέματα

Python
επεξεργασία γλώσσας
ανοικτός κώδικας

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

spaCy

Το spaCy είναι μια βιβλιοθήκη Python ανοικτού κώδικα για επεξεργασία φυσικής γλώσσας, που αναπτύσσεται από τη βερολινέζικη εταιρεία Explosion. Διαχωρίζει τα κείμενα σε λέξεις και προτάσεις, προσδιορίζει μέρη του λόγου και βασικές μορφές, αναλύει τη δομή των προτάσεων και αναγνωρίζει ονομασμένες οντότητες όπως πρόσωπα, εταιρείες ή τόπους. Διατίθενται προεκπαιδευμένα μοντέλα για πολλές γλώσσες, συμπεριλαμβανομένων των γερμανικών. Το spaCy έχει σχεδιαστεί για ταχύτητα και για χρήση σε πραγματικές εφαρμογές, για παράδειγμα για την προεπεξεργασία μεγάλων όγκων εγγράφων.

NLP
Python
+1

Επεξεργασία φυσικής γλώσσας (NLP)

Η επεξεργασία φυσικής γλώσσας είναι ο κλάδος της ΤΝ που επιτρέπει στους υπολογιστές να αναλύουν, να κατανοούν και να παράγουν ανθρώπινη γλώσσα σε κείμενο ή ομιλία. Καλύπτει εργασίες όπως η μετάφραση, η ταξινόμηση, η σύνοψη, η ανάλυση συναισθήματος και η απάντηση ερωτήσεων. Κάποτε κυριαρχούσαν οι κανόνες και οι στατιστικές μέθοδοι· σήμερα ο τομέας διαμορφώνεται από μεγάλα γλωσσικά μοντέλα.

NLP
Γλώσσα
+1

Επισημείωση μερών του λόγου (POS)

Η επισημείωση μερών του λόγου αποδίδει αυτόματα σε κάθε λέξη μιας πρότασης τη γραμματική της κατηγορία, όπως ουσιαστικό, ρήμα, επίθετο ή πρόθεση. Επειδή πολλές λέξεις είναι διφορούμενες (το «book» ως ουσιαστικό ή ρήμα, το «light» ως επίθετο ή ουσιαστικό), οι μέθοδοι λαμβάνουν υπόψη το πλαίσιο της πρότασης. Η επισημείωση POS είναι κλασικό βήμα προεπεξεργασίας για συντακτική ανάλυση, εξαγωγή πληροφοριών ή ορθογραφικό έλεγχο και προσφέρεται από βιβλιοθήκες όπως το spaCy και το NLTK.

NLP
γραμματική
+1

Gensim

Το Gensim είναι μια βιβλιοθήκη ανοικτού κώδικα σε Python για την ανάλυση μεγάλων συλλογών κειμένου. Είναι γνωστή για θεματικά μοντέλα όπως το LDA, για την εκπαίδευση διανυσμάτων λέξεων (π.χ. Word2Vec, FastText και Doc2Vec) και για τη σύγκριση εγγράφων ως προς την ομοιότητα. Επειδή το Gensim επεξεργάζεται τα δεδομένα τμηματικά, μπορεί να χειριστεί και σώματα κειμένων που δεν χωρούν στη μνήμη. Τυπική χρήση: η αυτόματη ομαδοποίηση χιλιάδων σχολίων πελατών ανά επαναλαμβανόμενα θέματα.

Βιβλιοθήκη Python
θεματική μοντελοποίηση
+1