Gensim to otwartoźródłowa biblioteka Pythona do analizy dużych zbiorów tekstów. Znana jest z modeli tematycznych, takich jak LDA, z trenowania wektorów słów (na przykład Word2Vec, FastText i Doc2Vec) oraz z porównywania dokumentów pod względem podobieństwa. Ponieważ Gensim przetwarza dane porcjami, radzi sobie także z korpusami, które nie mieszczą się w pamięci. Typowe zastosowanie: automatyczne grupowanie tysięcy komentarzy klientów według powtarzających się tematów.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoOsadzenia słów reprezentują słowa jako wektory liczbowe, tak aby słowa o podobnym znaczeniu leżały blisko siebie w przestrzeni wektorowej, na przykład „samochód” i „pojazd”. Metody takie jak Word2Vec czy GloVe uczą się tych wektorów z dużych zbiorów tekstów. Były one ważnym krokiem w przetwarzaniu języka, na przykład w wyszukiwaniu lub klasyfikacji; dzisiejsze modele językowe używają kontekstowych osadzeń, w których słowo jest reprezentowane inaczej w zależności od zdania.
NLTK (Natural Language Toolkit) to otwartoźródłowa biblioteka Pythona do przetwarzania języka naturalnego, stworzona na Uniwersytecie Pensylwanii na początku lat 2000. Udostępnia narzędzia do tokenizacji, stemmingu, oznaczania części mowy i prostej klasyfikacji oraz dostęp do licznych korpusów tekstowych. NLTK jest używana głównie w nauczaniu i badaniach; aplikacje produkcyjne często korzystają z bibliotek takich jak spaCy lub z modeli typu transformer.
spaCy to otwartoźródłowa biblioteka Pythona do przetwarzania języka naturalnego, rozwijana przez berlińską firmę Explosion. Dzieli teksty na słowa i zdania, określa części mowy i formy podstawowe, analizuje budowę zdań i rozpoznaje nazwane encje, takie jak osoby, firmy czy miejsca. Dostępne są wstępnie wytrenowane modele dla wielu języków, w tym niemieckiego. spaCy zaprojektowano z myślą o szybkości i zastosowaniach w rzeczywistych aplikacjach, na przykład do wstępnego przetwarzania dużych zbiorów dokumentów.
Przetwarzanie języka naturalnego to dziedzina AI, która umożliwia komputerom analizowanie, rozumienie i generowanie ludzkiego języka w tekście lub mowie. Obejmuje zadania takie jak tłumaczenie, klasyfikacja, streszczanie, analiza sentymentu i odpowiadanie na pytania. Dawniej dominowały reguły i metody statystyczne; dziś dziedzinę kształtują duże modele językowe.
