Glossarju

BERT

X'inhu BERT?

BERT (Bidirectional Encoder Representations from Transformers) huwa mudell tal-lingwa introdott minn Google fl-2018. B'differenza minn mudelli preċedenti, jikkunsidra l-kuntest fuq ix-xellug u fuq il-lemin ta' kelma fl-istess ħin, u dan jgħinu jsolvi l-ambigwità. BERT huwa mfassal biex jifhem it-test aktar milli biex jikteb siltiet itwal. Jintuża għat-tfittxija, il-klassifikazzjoni tat-test, ir-rikonoxximent tal-entitajiet bl-isem u t-tweġib tal-mistoqsijiet u ffurma ħafna mudelli suċċessuri.

Suġġetti

Mudell tal-lingwa
NLP
Transformer

Ipprova KI.ordo

Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.

Ibda d-demo

← It-termini kollha

Termini relatati

Transformer

It-transformer huwa arkitettura ta' netwerk newrali introdotta fl-2017 fid-dokument ta' riċerka “Attention Is All You Need”. Fil-qalba tiegħu hemm il-mekkaniżmu tal-attenzjoni: kull kelma tiġi ponderata b'relazzjoni mal-kliem l-ieħor kollu f'test, u l-komputazzjoni tista' titwettaq b'mod parallel b'mod effiċjenti. It-transformers isostnu l-mudelli lingwistiċi tal-lum bħal GPT, Claude u BERT u jintużaw ukoll għall-immaġini u l-awdjo.

Arkitettura
Tagħlim profond
+1

Fehim tal-lingwa naturali (NLU)

Il-fehim tal-lingwa naturali huwa l-parti tal-ipproċessar tal-lingwa li taqbad it-tifsira ta' espressjoni: x'intenzjoni hemm warajha, liema persuni, postijiet jew dati huma msemmija, u x'inhu t-ton tagħha? Flimkien mal-ġenerazzjoni tal-lingwa naturali (NLG), l-NLU jifforma wieħed miż-żewġ naħat tal-NLP. Eżempju wieħed huwa sistema ta' servizz lill-klijenti li tagħraf “Il-pakkett tiegħi għadu ma wasalx” bħala mistoqsija dwar il-kunsinna.

NLP
Detezzjoni tal-intenzjoni
+1

Word embeddings

Il-word embeddings jirrappreżentaw kliem bħala vetturi numeriċi sabiex kliem b'tifsiriet simili jkunu qrib xulxin fl-ispazju vettorjali, bħal “karozza” u “vettura”. Metodi bħal Word2Vec jew GloVe jitgħallmu dawn il-vetturi minn ammonti kbar ta' test. Kienu pass importanti fl-ipproċessar tal-lingwa, per eżempju għat-tfittxija jew il-klassifikazzjoni; il-mudelli lingwistiċi tal-lum jużaw embeddings kuntestwali li fihom kelma tiġi rappreżentata differenti skont is-sentenza.

NLP
Vetturi
+1

Generative pre-trained transformer (GPT)

GPT (generative pre-trained transformer) jirreferi għal serje ta' mudelli lingwistiċi kbar żviluppati minn OpenAI u bbażati fuq l-arkitettura tat-transformer. Il-mudelli l-ewwel jitħarrġu minn qabel fuq kwantitajiet vasti ta' test biex jbassru t-token li jmiss u mbagħad jitħarrġu aktar għad-djalogu u biex isegwu struzzjonijiet. L-ewwel mudell GPT deher fl-2018; ġenerazzjonijiet aktar tard huma l-bażi ta' ChatGPT. Fid-diskors ta' kuljum, “GPT” spiss jintuża għall-mudelli lingwistiċi in ġenerali.

Mudell tal-lingwa
Transformer
+1