Parallelismo di esperti

Tecnica specifica dei MoE: invece di dividere ogni layer, gli esperti (le sotto-reti condizionali) vengono distribuiti su GPU diverse. Un token invoca solo gli esperti attivi, quindi la VRAM si usa in modo più efficiente rispetto al parallelismo di tensori.