De BLEU-score (Bilingual Evaluation Understudy) is een maatstaf die in 2002 bij IBM is ontwikkeld om machinevertalingen automatisch te beoordelen. Ze meet hoeveel woordreeksen uit een vertaling ook voorkomen in een of meer menselijke referentievertalingen en geeft een waarde tussen 0 en 1 (vaak weergegeven als 0–100). BLEU is snel en vergelijkbaar, maar geeft betekenis en stijl slecht weer – goede parafrases kunnen laag scoren.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenROUGE (Recall-Oriented Understudy for Gisting Evaluation) is een familie van maatstaven om automatisch gegenereerde teksten – vooral samenvattingen – te vergelijken met referentieteksten die door mensen zijn geschreven. Het meet hoeveel woorden of woordreeksen overlappen, bijvoorbeeld losse woorden bij ROUGE-1 of de langste gemeenschappelijke deelreeks bij ROUGE-L. De score is snel te berekenen, maar geeft geen betrouwbaar beeld van parafrasen met dezelfde betekenis of van feitelijke juistheid.
In AI betekent benchmarking het systematisch vergelijken van modellen of systemen aan de hand van vastgelegde taken en criteria. Openbare benchmarks meten bijvoorbeeld algemene kennis, redeneervermogen of programmeervaardigheid; voor de praktijk zijn testgevallen uit uw eigen dagelijkse werk echter het belangrijkst. Typische criteria zijn nauwkeurigheid, volledigheid, responstijd en kosten. Dat helpt te beslissen of een kleiner, goedkoper model goed genoeg is voor een taak.
De F-score is een maat voor het beoordelen van classificatiemodellen. De gangbare F1-score is het harmonisch gemiddelde van precisie (hoeveel van de voorspelde treffers correct zijn) en recall (hoeveel van de werkelijke treffers zijn gevonden) en loopt van 0 tot 1. Ze is vooral nuttig bij onevenwichtige data: een spamfilter dat bijna nooit spam markeert, kan een hoge nauwkeurigheid maar een lage F1-score hebben.
Natuurlijke taalverwerking is het deel van AI dat computers in staat stelt menselijke taal in tekst of spraak te analyseren, te begrijpen en te genereren. Het omvat taken als vertalen, classificeren, samenvatten, sentimentanalyse en vraagbeantwoording. Vroeger domineerden regels en statistische methoden; tegenwoordig wordt het vakgebied bepaald door grote taalmodellen.
