Modellparallellisering

Modellparallellisering är en teknik inom maskininlärning där ett neuralt nätverk delas upp och körs över flera beräkningsenheter, till exempel GPU:er eller TPU-kärnor, för att möjliggöra träning och inferens av mycket stora modeller som inte får plats i en enhets minne. Syftet är att distribuera både lagrade parametrar och beräkningar över flera enheter samtidigt, i stället för att låta varje enhet använda en fullständig kopia av modellen.

Vanliga angreppssätt inkluderar tensorparallellisering, pipelineparallellisering och experteparallellisering. Vid tensorparallellisering delas viktmatriserna eller andra tensors över flera enheter, så att varje enhet ansvarar för en del av beräkningarna. Pipelineparallellisering delar modellen i sektioner och låter mikrobatchar av data flyta genom sektionerna i en cercant pipeline, vilket minskar individuella minneskrav men kräver noggrann synkronisering. Experteparallellisering, ofta kallad mixture of experts, placerar olika experter på olika enheter och aktiverar endast delar av modellen beroende på input.

Modellparallellisering används ofta i kombination med andra parallelliseringsformer, såsom data-parallellisering, för att optimera både minnesutnyttjande och beräkningshastighet. Viktiga utmaningar är kommunikation mellan enheter, latens, belastningsbalansering och effektiv partitionering av parametrar och beräkningar. Framväxande tekniker syftar till att minimera data som måste överföras och att bättre utnyttja nätverkstopologier samt acceleratorkommunikation.

Användningsexempel inkluderar träning av mycket stora språkmodeller och multimodala modeller som överskrider begränsningarna för en enda enhets minne. Vanliga verktyg och ramverk som stöder modellparallellisering inkluderar olika distributionstekniker i PyTorch, samt specialiserade lösningar i projekt som Megatron-LM och DeepSpeed.