Ordlista

Parametereffektiv finjustering (PEFT)

Vad är Parametereffektiv finjustering (PEFT)?

Parametereffektiv finjustering (PEFT) omfattar tekniker som anpassar en stor förtränad modell till en uppgift genom att bara träna en liten del av dess parametrar eller lägga till några få extra. Kända metoder är LoRA, QLoRA, adaptrar och prefix tuning. Det minskar beräknings- och minneskraven kraftigt, och små tilläggsmoduler kan sparas för flera uppgifter i stället för fullständiga modellkopior. Exempel: en språkmodell anpassas till stilen i interna tekniska dokument.

Ämnen

finjustering
träning
effektivitet

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo

← Alla begrepp

Relaterade begrepp

Finjustering

Finjustering innebär att en redan förtränad AI-modell tränas vidare på ytterligare, vanligtvis uppgiftsspecifika data. Modellens interna vikter justeras så att den till exempel hanterar en viss skrivstil, ett visst fackspråk eller ett visst utdataformat mer tillförlitligt. Finjustering kräver noggrant förberedda exempeldata, beräkningskraft och tester. För många tillämpningar räcker väl formulerade instruktioner och ansluten kunskap, och de är lättare att ändra.

Modellträning
Anpassning
+1

Instruction Tuning

Instruktionsträning (instruction tuning) är en form av finjustering där en förtränad språkmodell tränas vidare på många par av instruktioner och önskade svar. Det lär modellen att följa uppgifter formulerade på naturligt språk i stället för att bara fortsätta en text. Det är ett viktigt steg för att göra en basmodell till en assistent och kombineras ofta med metoder som RLHF. Exempel: ”Sammanfatta den här texten i tre meningar” utförs tillförlitligt.

Finjustering
Språkmodeller
+1

Transfer Learning

Vid överföringsinlärning (transfer learning) fungerar en modell som redan har lärt sig en stor allmän uppgift som utgångspunkt för en ny, specialiserad. I stället för att börja från noll anpassas den, till exempel genom finjustering, med jämförelsevis lite egna data. Det sparar beräkningstid och data, till exempel när en allmän bildmodell ska lära sig upptäcka produktionsfel i foton.

Maskininlärning
Training
+1

Grundmodell (foundation model)

En grundmodell är en stor AI-modell som har förtränats på mycket omfattande och mångsidiga data och sedan kan användas för många olika uppgifter. Begreppet myntades vid Stanford University 2021. Kända exempel är stora språkmodeller som Claude eller GPT samt bildmodeller. Företag bygger vanligtvis sina applikationer på sådana modeller i stället för att träna egna från grunden; EU:s AI-förordning talar om AI-modeller för allmänna ändamål.

Basmodell
Språkmodeller
+1