Contextgrootte

Contextgrootte is een term uit de informatietechnologie en de linguïstiek die verwijst naar de hoeveelheid tekst of informatie die een model of systeem tegelijk kan gebruiken om een voorspelling te doen of een interpretatie te maken. In natural language processing (NLP) beschrijft de contextgrootte het contextvenster of geheugen dat bij een invoer wordt betrokken. Een grotere contextgrootte maakt langere afhankelijkheden en ambiguïteiten beter zichtbaar, maar vereist ook meer rekencapaciteit en geheugen.

Bij transformer-gebaseerde modellen is de contextgrootte doorgaans beperkt door de architectuur en training. Het bepaalt hoeveel tokens tegelijk kunnen worden geanalyseerd. Om de contextgrootte te vergroten bestaan er verschillende benaderingen: langere aandacht, sparsere aandacht, het opdelen van input in segmenten met een schuivend venster, of het gebruik van retrieval-augmented generation (RAG), waarbij externe informatiebronnen worden geraadpleegd.

Praktisch gezien beïnvloedt de contextgrootte de outputkwaliteit, vooral bij lange documenten of bij het volgen van langeafstandsrelaties tussen ideeën. Een te kleine context kan leiden tot verlies van relevante informatie, terwijl een te grote context de rek- en opslagbehoefte verhoogt en soms de prestaties negatief beïnvloedt door ruis.

Veelvoorkomende waarden variëren van enkele honderden tokens in oudere modellen tot duizenden tokens in hedendaagse systemen, met gespecialiseerde oplossingen die tienduizenden tokens of meer kunnen verwerken via externe opslag of retrieval-augmented generation.