modelltillmodell

Modelltillmodell, ofta kallat modell-till-modell eller kunskapsdistillation, är en bred benämning på tekniker där kunskap överförs från en källa modell till en målmodell. Syftet är ofta att bevara prestanda samtidigt som modellen blir mindre, snabbare eller bättre anpassad till en specifik miljö.

Vanliga metoder inkluderar viktöverföring där parametrar från en förtränad modell används som startpunkt och finjusteras; kunskapsdistillation där en lärarmodellens utdata (ofta mjuka etiketter) används för att träna en elevmodell; representationstransfer eller funktionell överföring där mellanliggande lager eller representationer delas; samt i förstärkt lärande kan policy eller värderingar överföras mellan modeller.

Användningar inkluderar modellkompression för inbyggda enheter, snabbare anpassning till nya uppgifter med begränsad data, domänöversättningsscenarier där liknande uppgifter kräver anpassning utan full omträning, samt ensemble- eller robusthetsförbättringar.

Utmaningar inkluderar arkitektonisk kompatibilitet och negativ överföring; överföring av fördomar eller fel; kalibrering av sannolikhetsutdata och stabilisering; krav på dataset med märkning eller kompletterande strategi; samt beräkningskostnader vid träning och validering.

Relationer: modelltillmodell relaterar till transfer learning, kunskapsdistillation, modellkompression och meta-lärande. Historiskt uppstod idén med kunskapsdistillation som ett sätt att komprimera stora nätverk.

---