kunskapsdistillation
Kunskapsdistillation är en maskininlärningsteknik där en stor, högpresterande modell (läraren) används för att lära en mindre modell (eleven) att uppnå liknande prestanda med lägre beräkningskostnad. Målet är att behålla modellens noggrannhet samtidigt som den blir snabbare och mindre minneskrävande, vilket gör den lämplig för realtidstillämpningar och enheter med begränsade resurser.
Grunden i kunskapsdistillation är att använda lärarens mjuktade sannolikheter (soft targets) som extra träningssignal till eleven.
Det finns olika varianter av metoden. Förutom att matcha slutliga utsagor kan man även försöka överföra dolda