Ordliste

Word embeddings

Hvad er Word embeddings?

Word embeddings repræsenterer ord som numeriske vektorer, så ord med lignende betydning ligger tæt på hinanden i vektorrummet, f.eks. »bil« og »køretøj«. Metoder som Word2Vec eller GloVe lærer disse vektorer af store tekstmængder. De var et vigtigt skridt i sprogbehandlingen, f.eks. til søgning eller klassifikation; nutidens sprogmodeller bruger kontekstuelle embeddings, hvor et ord repræsenteres forskelligt afhængigt af sætningen.

Sådan hjælper KI.ordo

KI.ordos vidensøgning bruger ikke embeddings, men BM25-nøgleordssøgning direkte på serveren.

Emner

NLP
vektorer
semantik

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo

← Alle begreber

Relaterede begreber

Embeddingvektor

En embeddingvektor (embedding) er en liste af tal, der repræsenterer betydningen af et ord, en sætning eller et dokument, så tekster med lignende indhold ligger tæt på hinanden. Det gør det muligt at genkende, at f.eks. 'opsigelse' og 'ophør af kontrakten' hænger sammen, selv om de ikke deler ord. Embeddings ligger til grund for mange semantiske søgesystemer, anbefalingstjenester og RAG-applikationer; de beregnes af specialtrænede modeller.

vektor
semantisk søgning
+1

Gensim

Gensim er et open source-bibliotek i Python til analyse af store tekstsamlinger. Det er kendt for emnemodeller som LDA, for træning af ordvektorer (f.eks. Word2Vec, FastText og Doc2Vec) og for sammenligning af dokumenter efter lighed. Fordi Gensim behandler data i bidder, kan det også håndtere korpusser, der ikke kan være i hukommelsen. En typisk anvendelse: at gruppere tusindvis af kundekommentarer automatisk efter tilbagevendende temaer.

Python-bibliotek
Emnemodellering
+1

Natural language processing (NLP)

Natural language processing er den gren af AI, der gør det muligt for computere at analysere, forstå og generere menneskeligt sprog i tekst eller tale. Det omfatter opgaver som oversættelse, klassifikation, opsummering, sentimentanalyse og spørgsmålsbesvarelse. Tidligere dominerede regler og statistiske metoder; i dag er feltet præget af store sprogmodeller.

NLP
Sprog
+1

Semantisk analyse

Semantisk analyse undersøger sprogets betydning – ikke kun hvilke ord der optræder, men hvad der menes. Det omfatter at fortolke flertydige ord rigtigt i sammenhængen (f.eks. »leder« som chef eller som elektrisk leder), at genkende relationer mellem begreber og at klassificere udsagn efter indhold. Det ligger til grund for anvendelser som analyse af kundefeedback, spørgsmålsbesvarelse eller søgesystemer, der også skal forstå forskelligt formulerede forespørgsler med samme betydning.

NLP
betydning
+1