NLTK (Natural Language Toolkit) to otwartoźródłowa biblioteka Pythona do przetwarzania języka naturalnego, stworzona na Uniwersytecie Pensylwanii na początku lat 2000. Udostępnia narzędzia do tokenizacji, stemmingu, oznaczania części mowy i prostej klasyfikacji oraz dostęp do licznych korpusów tekstowych. NLTK jest używana głównie w nauczaniu i badaniach; aplikacje produkcyjne często korzystają z bibliotek takich jak spaCy lub z modeli typu transformer.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demospaCy to otwartoźródłowa biblioteka Pythona do przetwarzania języka naturalnego, rozwijana przez berlińską firmę Explosion. Dzieli teksty na słowa i zdania, określa części mowy i formy podstawowe, analizuje budowę zdań i rozpoznaje nazwane encje, takie jak osoby, firmy czy miejsca. Dostępne są wstępnie wytrenowane modele dla wielu języków, w tym niemieckiego. spaCy zaprojektowano z myślą o szybkości i zastosowaniach w rzeczywistych aplikacjach, na przykład do wstępnego przetwarzania dużych zbiorów dokumentów.
Przetwarzanie języka naturalnego to dziedzina AI, która umożliwia komputerom analizowanie, rozumienie i generowanie ludzkiego języka w tekście lub mowie. Obejmuje zadania takie jak tłumaczenie, klasyfikacja, streszczanie, analiza sentymentu i odpowiadanie na pytania. Dawniej dominowały reguły i metody statystyczne; dziś dziedzinę kształtują duże modele językowe.
Oznaczanie części mowy automatycznie przypisuje każdemu słowu w zdaniu jego kategorię gramatyczną, na przykład rzeczownik, czasownik, przymiotnik lub przyimek. Ponieważ wiele słów jest wieloznacznych („stali” jako forma rzeczownika „stal” lub czasownika „stać”), metody uwzględniają kontekst zdania. POS tagging to klasyczny krok wstępnego przetwarzania w parsowaniu, ekstrakcji informacji lub sprawdzaniu pisowni i jest oferowany przez biblioteki takie jak spaCy i NLTK.
Gensim to otwartoźródłowa biblioteka Pythona do analizy dużych zbiorów tekstów. Znana jest z modeli tematycznych, takich jak LDA, z trenowania wektorów słów (na przykład Word2Vec, FastText i Doc2Vec) oraz z porównywania dokumentów pod względem podobieństwa. Ponieważ Gensim przetwarza dane porcjami, radzi sobie także z korpusami, które nie mieszczą się w pamięci. Typowe zastosowanie: automatyczne grupowanie tysięcy komentarzy klientów według powtarzających się tematów.
