Grunnmodeller

Grunnmodeller, ofte kalt foundation models (FM), er store maskinlæringsmodeller som er trent på enormt store og mangfoldige datasett. De er designet for å være generalistmodeller som kan brukes til mange ulike oppgaver uten at hver oppgave trenger ny, fra bunnen av trening. Etter forhåndstrening kan de tilpasses gjennom prompting, finjustering eller bruk av adaptere.

Hovedideen er at modellens generelle representasjoner, innlært på bred data, kan overføres til nye oppgaver med begrenset ekstra trening. Grunnmodeller er ofte multimodale, noe som betyr at de kan håndtere tekst, bilder, kode eller lyd innen samme rammeverk. De er vanligvis store i antall parametere og krever betydelig beregningskraft og energi under trening.

Eksempler på grunnmodeller inkluderer språkmodeller som GPT-4, BERT, LLaMA og PaLM, samt multimodale modeller som DALL-E eller CLIP. De brukes i applikasjoner som tekstgenerering, oversettelse, innholdsanalyse og ulike verktøy som kodeassistenter.

Utfordringer og risikoer inkluderer skjevheter i data, feilinformasjon, personvern og datakilder, samt høye miljøkostnader. Sikkerhet, pålitelighet og ansvarsforhold er viktige temaer i utvikling og regulering av grunnmodeller. Innholdssjekk, innholdspolicy og potensiell misbruk (for eksempel konstruert propaganda) er områder som forskere og beslutningstakere arbeider med.

Fremtidig arbeid peker på forbedringer i sikkerhet og kontroll (alignment), bedre effektivitet og mer robust generalisering, samt utvikling av standarder for evaluering og gjennomsiktighet.