NLTK (Natural Language Toolkit) ist eine quelloffene Python-Bibliothek für die Verarbeitung natürlicher Sprache, die Anfang der 2000er-Jahre an der University of Pennsylvania entstand. Sie bietet Werkzeuge für Tokenisierung, Wortstammbildung, Wortarten-Tagging und einfache Klassifikation sowie Zugriff auf zahlreiche Textkorpora. NLTK ist vor allem in Lehre und Forschung verbreitet; für produktive Anwendungen werden häufig Bibliotheken wie spaCy oder Transformer-Modelle eingesetzt.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenspaCy ist eine quelloffene Python-Bibliothek für die Verarbeitung natürlicher Sprache, entwickelt vom Berliner Unternehmen Explosion. Sie zerlegt Texte in Wörter und Sätze, bestimmt Wortarten und Grundformen, analysiert Satzstrukturen und erkennt benannte Entitäten wie Personen, Firmen oder Orte. Für viele Sprachen, darunter Deutsch, gibt es vortrainierte Modelle. spaCy ist auf Geschwindigkeit und den Einsatz in echten Anwendungen ausgelegt, etwa zur Vorverarbeitung großer Dokumentenmengen.
Die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ist das Teilgebiet der KI, das Computern ermöglicht, menschliche Sprache in Text oder Sprache zu analysieren, zu verstehen und zu erzeugen. Es umfasst Aufgaben wie Übersetzung, Klassifikation, Zusammenfassung, Stimmungsanalyse und Frage-Antwort-Systeme. Früher dominierten Regeln und statistische Verfahren, heute prägen große Sprachmodelle das Feld.
Beim Wortarten-Tagging (Part-of-Speech-Tagging) erhält jedes Wort eines Satzes automatisch seine grammatische Kategorie, etwa Nomen, Verb, Adjektiv oder Präposition. Weil viele Wörter mehrdeutig sind – „Bank“ als Möbel oder Geldinstitut, „laufen“ als Verb oder substantiviert –, berücksichtigen die Verfahren den Satzzusammenhang. POS-Tagging ist ein klassischer Vorverarbeitungsschritt, etwa für Satzanalyse, Informationsextraktion oder Rechtschreibprüfung, und wird von Bibliotheken wie spaCy oder NLTK angeboten.
Gensim ist eine quelloffene Python-Bibliothek zur Analyse großer Textsammlungen. Bekannt ist sie für Themenmodelle wie LDA, für das Training von Wortvektoren (etwa Word2Vec, FastText, Doc2Vec) und für Ähnlichkeitsvergleiche zwischen Dokumenten. Da Gensim Daten abschnittsweise verarbeitet, lassen sich auch Korpora bearbeiten, die nicht in den Arbeitsspeicher passen. Typischer Einsatz: Tausende Kundenkommentare automatisch nach wiederkehrenden Themen gruppieren.
