PaLM huwa mudell lingwistiku kbir minn Google, żvelat fl-2022 b'540 biljun parametru u mħarreġ fuq ħafna ċipep TPU fl-istess ħin bis-sistema tat-taħriġ Pathways ta' Google. PaLM 2 segwa fl-2023 u mexxa, fost oħrajn, il-chatbot Bard. Google minn dak iż-żmien issostitwiet lil PaLM bil-mudelli Gemini tagħha, u l-API għall-iżviluppaturi ta' PaLM ingħalqet f'Awwissu 2024. Illum PaLM hija importanti l-aktar bħala pass fl-iżvilupp tal-mudelli lingwistiċi kbar.
Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.
Ibda d-demoMudell lingwistiku kbir (LLM) huwa netwerk newrali mħarreġ fuq kwantitajiet kbar ħafna ta' test, li jippermettilu jifhem u jiġġenera lingwa. Jaħdem billi jikkalkula pass pass l-aktar token probabbli li jmiss. L-LLMs jiktbu, jagħmlu sommarji, jittraduċu, iwieġbu mistoqsijiet u jiġġeneraw kodiċi; eżempji magħrufa jinkludu Claude, GPT, Gemini u Llama. Mingħajr aċċess għal sorsi kurrenti, jafu biss dak li kien fid-data tat-taħriġ tagħhom.
It-transformer huwa arkitettura ta' netwerk newrali introdotta fl-2017 fid-dokument ta' riċerka “Attention Is All You Need”. Fil-qalba tiegħu hemm il-mekkaniżmu tal-attenzjoni: kull kelma tiġi ponderata b'relazzjoni mal-kliem l-ieħor kollu f'test, u l-komputazzjoni tista' titwettaq b'mod parallel b'mod effiċjenti. It-transformers isostnu l-mudelli lingwistiċi tal-lum bħal GPT, Claude u BERT u jintużaw ukoll għall-immaġini u l-awdjo.
Mudell fundamentali (foundation model) huwa mudell tal-IA kbir imħarreġ minn qabel fuq data estensiva ħafna u varjata li mbagħad jista' jintuża għal ħafna kompiti differenti. It-terminu nħoloq fl-Università ta' Stanford fl-2021. Eżempji magħrufa jinkludu mudelli lingwistiċi kbar bħal Claude jew GPT, kif ukoll mudelli tal-immaġini. In-negozji normalment jibnu l-applikazzjonijiet tagħhom fuq mudelli bħal dawn minflok ma jħarrġu tagħhom stess mill-bidu; l-Att tal-UE dwar l-IA jirreferi għal mudelli tal-IA għal skopijiet ġenerali.
GPT (generative pre-trained transformer) jirreferi għal serje ta' mudelli lingwistiċi kbar żviluppati minn OpenAI u bbażati fuq l-arkitettura tat-transformer. Il-mudelli l-ewwel jitħarrġu minn qabel fuq kwantitajiet vasti ta' test biex jbassru t-token li jmiss u mbagħad jitħarrġu aktar għad-djalogu u biex isegwu struzzjonijiet. L-ewwel mudell GPT deher fl-2018; ġenerazzjonijiet aktar tard huma l-bażi ta' ChatGPT. Fid-diskors ta' kuljum, “GPT” spiss jintuża għall-mudelli lingwistiċi in ġenerali.
