DA
Log indKom i gang
Ordliste

Parameter-efficient fine-tuning (PEFT)

Hvad er Parameter-efficient fine-tuning (PEFT)?

Parameter-efficient fine-tuning (PEFT) omfatter teknikker, der tilpasser en stor fortrænet model til en opgave ved kun at træne en lille del af dens parametre eller tilføje nogle få ekstra. Kendte metoder er LoRA, QLoRA, adaptere og prefix tuning. Det reducerer beregnings- og hukommelsesbehovet kraftigt, og små tillægsmoduler kan gemmes til flere opgaver i stedet for fulde modelkopier. Eksempel: en sprogmodel tilpasses stilen i interne tekniske dokumenter.

Emner

  • fine-tuning
  • træning
  • effektivitet

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo
← Alle begreber

Relaterede begreber

Finjustering

Finjustering (fine-tuning) betyder at videretræne en allerede fortrænet AI-model på yderligere, som regel opgavespecifikke data. Dens interne vægte justeres, så modellen f.eks. håndterer en bestemt skrivestil, fagterminologi eller outputformat mere pålideligt. Finjustering kræver omhyggeligt forberedte eksempeldata, regnekraft og test. Til mange anvendelser er velskrevne instruktioner og tilknyttet viden tilstrækkeligt og lettere at ændre.

  • Modeltræning
  • Tilpasning
  • +1

Instruction Tuning

Instruktionstuning (instruction tuning) er en form for finjustering, hvor en fortrænet sprogmodel trænes videre på mange par af instruktioner og ønskede svar. Det lærer modellen at følge opgaver formuleret i naturligt sprog i stedet for blot at fortsætte tekst. Det er et vigtigt trin i at gøre en basismodel til en assistent og kombineres ofte med metoder som RLHF. Eksempel: 'Opsummér denne tekst i tre sætninger' udføres pålideligt.

  • Finjustering
  • Sprogmodeller
  • +1

Transfer Learning

Ved transfer learning bruges en model, der allerede har lært en stor generel opgave, som udgangspunkt for en ny, specialiseret opgave. I stedet for at starte fra bunden tilpasses den, f.eks. gennem fine-tuning, med forholdsvis få egne data. Det sparer beregningstid og data, f.eks. når en generel billedmodel skal lære at opdage produktionsfejl på fotos.

  • Maskinlæring
  • Training
  • +1

Fundamentmodel

En fundamentmodel (foundation model) er en stor AI-model, der er fortrænet på meget omfattende, varierede data, og som derefter kan bruges til mange forskellige opgaver. Begrebet blev skabt på Stanford University i 2021. Kendte eksempler er store sprogmodeller som Claude eller GPT samt billedmodeller. Virksomheder bygger som regel deres applikationer på sådanne modeller i stedet for at træne egne fra bunden; EU's AI-forordning omtaler AI-modeller til almen brug.

  • Basismodel
  • Sprogmodeller
  • +1