autodifferentiëlen

Autodifferentiëren, oftewel automatische differentiatie, is een verzameling technieken om afgeleiden van functies die door een computerprogramma zijn gedefinieerd nauwkeurig tot op machineprecisie te berekenen. In tegenstelling tot symbolische differentiatie, die wiskundige uitdrukkingen algebraïsch vereenvoudigt, en numerieke differentiatie, die afgeleiden schat met eindige verschillen, levert automatische differentiatie afgeleiden die exact zijn voor de gegeven implementatie tot de grenzen van representatie. AD werkt door tijdens de uitvoering van het programma een computationele grafiek op te bouwen die alle bewerkingen en tussentijdse waarden vastlegt, en vervolgens de kettingregel toe te passen om de gewenste afgeleiden te berekenen.

Er bestaan twee hoofdbenaderingen: forward mode en reverse mode. Forward mode propagateert de afgeleide mee met iedere bewerking en is efficiënt wanneer het aantal invoervariabelen klein is. Reverse mode loopt de berekening achterstevoren af (backpropagation) en levert meestal de gradient van een scalair output ten opzichte van vele invoeren met relatief lage kosten, wat het de standaardkeuze maakt in machine learning.

Implementaties kunnen plaatsvinden via operator overloading of via broncode-transformatie. Moderne frameworks zoals TensorFlow, PyTorch, JAX en Autograd bieden automatische differentiatie als ingebouwde functionaliteit, waardoor gebruikers gradienten en, met hogere orde-differentiatie, nog complexere afgeleiden kunnen verkrijgen.

Toepassingen omvatten training van neurale netwerken, optimale systemen in wetenschappelijke simulaties, structurele optimalisatie en financiële modellering. Nadelen zijn onder meer differentiabele code en dataflow vereisten; niet-differentiabele takken of discrete beslissingen verbreken de kettingregel. Bij reverse mode kan veel geheugen nodig zijn om alle tussentijdse waarden vast te leggen.

De basisidee dateert uit de jaren 1960–1990 met bijdragen aan de ontwikkeling van automatische differentiatie; de techniek is sindsdien uitgegroeid tot een essentieel onderdeel van differentiable programming.