Parallelismo di tensori

Tecnica di serving che divide ogni matrice (tensore) di un modello tra più GPU, così ogni card calcola una parte dello stesso layer e i risultati si ricombinano. Serve quando un singolo layer non sta in una sola GPU, ad esempio per i MoE grandi.