AllenNLP är ett Python-bibliotek med öppen källkod för forskning inom språkteknologi (NLP), utvecklat av Allen Institute for AI ovanpå PyTorch. Det erbjöd färdiga komponenter och modeller för uppgifter som textklassificering, koreferensupplösning och frågebesvarande. Sedan slutet av 2022 utvecklas AllenNLP inte längre aktivt utan är i underhållsläge; dess utvecklare hänvisar till alternativ som AI2 Tango, flair eller Hugging Face Transformers (per oktober 2026).
Naturlig språkbehandling är den gren av AI som gör det möjligt för datorer att analysera, förstå och generera mänskligt språk i text eller tal. Den omfattar uppgifter som översättning, klassificering, sammanfattning, sentimentanalys och frågebesvarande. Regler och statistiska metoder dominerade förr; i dag präglas området av stora språkmodeller.
PyTorch är ett ramverk med öppen källkod för maskininlärning och djupinlärning i programmeringsspråket Python. Det utvecklades ursprungligen hos Meta (då Facebook) och har sedan 2022 förvaltats av PyTorch Foundation under Linux Foundation. PyTorch används flitigt inom forskning och industri eftersom det låter utvecklare bygga modeller flexibelt, träna dem på GPU:er och testa dem steg för steg; många välkända språk- och bildmodeller är byggda med det.
Hugging Face Transformers är ett Python-bibliotek med öppen källkod som ger tillgång till förtränade modeller för text, bild och ljud via ett enda, enhetligt gränssnitt. Utvecklare använder det för att ladda ned modeller från Hugging Face Hub, prova dem, anpassa dem till egna data eller köra dem lokalt. Sedan version 5 fokuserar biblioteket främst på PyTorch (läge oktober 2026). Exempel: ett team testar en modell för sentimentanalys med bara några rader kod.
spaCy är ett Python-bibliotek med öppen källkod för språkbehandling, utvecklat av det Berlinbaserade företaget Explosion. Det delar upp texter i ord och meningar, bestämmer ordklasser och grundformer, analyserar meningsbyggnad och känner igen namngivna entiteter som personer, företag eller platser. Förtränade modeller finns för många språk, bland annat tyska. spaCy är utformat för hastighet och för användning i verkliga tillämpningar, till exempel för att förbehandla stora mängder dokument.
