Parsowanie zależnościowe (dependency parsing) to technika przetwarzania języka naturalnego, która przedstawia strukturę gramatyczną zdania jako zależności między wyrazami. Każdy wyraz jest powiązany z wyrazem nadrzędnym, na przykład podmiot i dopełnienie z orzeczeniem: w zdaniu „Klient zamawia dwie lampy” słowa „klient” i „lampy” zależą od słowa „zamawia”. Pomaga to w ekstrakcji informacji, na przykład w ustalaniu, kto co zrobił.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoOznaczanie części mowy automatycznie przypisuje każdemu słowu w zdaniu jego kategorię gramatyczną, na przykład rzeczownik, czasownik, przymiotnik lub przyimek. Ponieważ wiele słów jest wieloznacznych („stali” jako forma rzeczownika „stal” lub czasownika „stać”), metody uwzględniają kontekst zdania. POS tagging to klasyczny krok wstępnego przetwarzania w parsowaniu, ekstrakcji informacji lub sprawdzaniu pisowni i jest oferowany przez biblioteki takie jak spaCy i NLTK.
Przetwarzanie języka naturalnego to dziedzina AI, która umożliwia komputerom analizowanie, rozumienie i generowanie ludzkiego języka w tekście lub mowie. Obejmuje zadania takie jak tłumaczenie, klasyfikacja, streszczanie, analiza sentymentu i odpowiadanie na pytania. Dawniej dominowały reguły i metody statystyczne; dziś dziedzinę kształtują duże modele językowe.
spaCy to otwartoźródłowa biblioteka Pythona do przetwarzania języka naturalnego, rozwijana przez berlińską firmę Explosion. Dzieli teksty na słowa i zdania, określa części mowy i formy podstawowe, analizuje budowę zdań i rozpoznaje nazwane encje, takie jak osoby, firmy czy miejsca. Dostępne są wstępnie wytrenowane modele dla wielu języków, w tym niemieckiego. spaCy zaprojektowano z myślą o szybkości i zastosowaniach w rzeczywistych aplikacjach, na przykład do wstępnego przetwarzania dużych zbiorów dokumentów.
Rozwiązywanie koreferencji to zadanie przetwarzania języka naturalnego, które ustala, które wyrażenia w tekście odnoszą się do tej samej osoby, rzeczy lub sprawy. W tekście „Anna Weber dzwoniła. Prosi, aby do niej oddzwonić” system musi zrozumieć, że „niej” oznacza Annę Weber. Ma to znaczenie dla streszczeń, ekstrakcji informacji i chatbotów, które muszą śledzić odniesienia w kilku zdaniach lub wypowiedziach rozmowy.
