Voorgetraind

Voorgetraind verwijst naar een model waarvan de parameters zijn geleerd op een grote, generieke dataset voordat het wordt toegepast op een specifieke taak. Het doel van pretraining is het leren van algemene representaties en patronen die overdraagbaar zijn naar diverse taken. Na pretraining kan het model worden aangepast door fine-tuning op een taakgerelateerde dataset, waardoor de prestatie op die taak vaak beter is dan wanneer men met nul training begint. Dit proces wordt vaak gebruikt in transfer learning.

Veelvoorkomende domeinen zijn natuurlijke taalverwerking, beeldherkenning en spraakverwerking. In NLP wordt een taalmodel eerst getraind op grote hoeveelheden tekst, waarna het kan worden afgestemd op taken zoals samenvatten, vertalen of sentimentanalyse. In beeldmodellen leert men tijdens pretraining algemene visuele concepten, waarna het model kan worden gefinetuned voor objectherkenning of medische beeldanalyse.

Voordelen van voorgetrainde modellen zijn onder meer snellere ontwikkeling, betere prestaties op taken met beperkte data, en het hergebruik van kennis uit een breed corpus. Nadelen zijn onder meer bias en representatieproblemen in de data, vereiste rekenkracht en grote opslagbehoeften, en mogelijk minder voorspelbaar gedrag bij drastische domeinverschuivingen.

Wanneer te gebruiken hangt af van data beschikbaarheid en doelstellingen. Verantwoord gebruik vereist evaluatie op benchmarks, transparantie over trainingsdata en monitoring van modeluitvoer.