Gensim ist eine quelloffene Python-Bibliothek zur Analyse großer Textsammlungen. Bekannt ist sie für Themenmodelle wie LDA, für das Training von Wortvektoren (etwa Word2Vec, FastText, Doc2Vec) und für Ähnlichkeitsvergleiche zwischen Dokumenten. Da Gensim Daten abschnittsweise verarbeitet, lassen sich auch Korpora bearbeiten, die nicht in den Arbeitsspeicher passen. Typischer Einsatz: Tausende Kundenkommentare automatisch nach wiederkehrenden Themen gruppieren.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenWort-Embeddings stellen Wörter als Zahlenvektoren dar, sodass Wörter mit ähnlicher Bedeutung im Vektorraum nahe beieinanderliegen – etwa „Auto“ und „Fahrzeug“. Verfahren wie Word2Vec oder GloVe lernen diese Vektoren aus großen Textmengen. Sie bildeten einen wichtigen Schritt der Sprachverarbeitung, etwa für Suche oder Klassifikation; heutige Sprachmodelle nutzen kontextabhängige Embeddings, bei denen ein Wort je nach Satz unterschiedlich dargestellt wird.
NLTK (Natural Language Toolkit) ist eine quelloffene Python-Bibliothek für die Verarbeitung natürlicher Sprache, die Anfang der 2000er-Jahre an der University of Pennsylvania entstand. Sie bietet Werkzeuge für Tokenisierung, Wortstammbildung, Wortarten-Tagging und einfache Klassifikation sowie Zugriff auf zahlreiche Textkorpora. NLTK ist vor allem in Lehre und Forschung verbreitet; für produktive Anwendungen werden häufig Bibliotheken wie spaCy oder Transformer-Modelle eingesetzt.
spaCy ist eine quelloffene Python-Bibliothek für die Verarbeitung natürlicher Sprache, entwickelt vom Berliner Unternehmen Explosion. Sie zerlegt Texte in Wörter und Sätze, bestimmt Wortarten und Grundformen, analysiert Satzstrukturen und erkennt benannte Entitäten wie Personen, Firmen oder Orte. Für viele Sprachen, darunter Deutsch, gibt es vortrainierte Modelle. spaCy ist auf Geschwindigkeit und den Einsatz in echten Anwendungen ausgelegt, etwa zur Vorverarbeitung großer Dokumentenmengen.
Die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ist das Teilgebiet der KI, das Computern ermöglicht, menschliche Sprache in Text oder Sprache zu analysieren, zu verstehen und zu erzeugen. Es umfasst Aufgaben wie Übersetzung, Klassifikation, Zusammenfassung, Stimmungsanalyse und Frage-Antwort-Systeme. Früher dominierten Regeln und statistische Verfahren, heute prägen große Sprachmodelle das Feld.
