BERTarkitekturen

BERT-arkitekturen refererer til den transformerbaserte språkforståelsesmodellen som Google AI Language introduserte i 2018. Den bruker en dyp Transformer-enkoder og kjennetegnes av bidireksjonal kontekstforståelse, noe som gir bedre språkrepresentasjoner for mange oppgaver enn tidligere ensrettede modeller.

Inndata representeres av slike embeddings: token-, segment- og posisjonsembeddings, kombinert med spesialtokenene [CLS] og [SEP]. Nettverket består av flere Transformer-enkodere med multi-head self-attention, feedforward-nettverk og lagnormalisering, og bruker residualforbindelser mellom lag.

Pre-trening består av to oppgaver: Maskert språkmodellering (MLM) og neste setningsforbindelse (NSP). Ved MLM masker 15% av tokens og prøver å forutsi dem ut fra kontekst; i praksis byttes 80% til [MASK], 10% til en tilfeldig token og 10% forblir uendret. NSP trener modellen til å avgjøre om to setninger følger hverandre i treningsdata.

Modellvariantene BERT-base og BERT-large skiller seg i størrelse: base har 12 lag, 768 skjulte enheter og 12 heads; large har 24 lag, 1024 enheter og 16 heads. Maks sekvenslengde er 512. Forutgående trening ble gjort på BooksCorpus og engelsk Wikipedia og ble gjort tilgjengelig under Apache-2.0-lisens.

Etter foruttrening kan BERT fintunes på ulike oppgaver ved å legge til en oppgave-spesifikk utgangslayer og finjustere hele modellen. Den satte ny toppresultater på GLUE og SQuAD og har hatt stor innflytelse på etterfølgende modeller og praksiser i feltet.

Begrensninger inkluderer høyt beregningsbehov, avhengighet av treningsdata og begrensning i sekvenslengde til 512 token. Variantenes etterfølgere, som RoBERTa og ALBERT, har videreutviklet treningsprosedyrer og effektivitet.