kunskapsdistillation

Kunskapsdistillation är en maskininlärningsteknik där en stor, högpresterande modell (läraren) används för att lära en mindre modell (eleven) att uppnå liknande prestanda med lägre beräkningskostnad. Målet är att behålla modellens noggrannhet samtidigt som den blir snabbare och mindre minneskrävande, vilket gör den lämplig för realtidstillämpningar och enheter med begränsade resurser.

Grunden i kunskapsdistillation är att använda lärarens mjuktade sannolikheter (soft targets) som extra träningssignal till eleven. Genom att använda en temperaturparameter används en mjukare sannolikhetsfördelning som gör att eleven lär sig hur olika klasser relaterar till varandra, inte bara den mest sannolika etiketten. Förlusten kombinerar ofta den vanliga förlusten mot de sanna etiketterna med distillationsförlusten mot lärarens sannolikheter. I vissa tillämpningar används en ensembled lärarmodell eller flera signaler för att förbättra överföringen av kunskap.

Det finns olika varianter av metoden. Förutom att matcha slutliga utsagor kan man även försöka överföra dolda representationer eller uppmärksamhetsmagnituder mellan nätverken. Användningsområden inkluderar modellkomprimering för edge- och mobildrift, språkmodeller, bildklassificering och taligenkänning. Viktiga praktiska överväganden är att data bör vara liknande den som modellen utbildats på, och att hyperparametrarna, särskilt temperatur och viktningen av distillationsförlusten, kan ha stor påverkan på resultatet. Distillationsidén introducerades av Hinton, Vinyals och Dean i artikeln Distilling the Knowledge in a Neural Network (2015).