Glossaire IA Locale
Termes et définitions de l'intelligence artificielle locale, des modèles open source et du calcul.
2 termes dans Serving
Parallélisme d'expertsServing
Technique spécifique aux MoE : au lieu de diviser chaque couche, les experts (les sous-réseaux conditionnels) sont répartis sur plusieurs GPU. Un token n'invoque que les experts actifs, donc la VRAM est utilisée plus efficacement que avec le parallélisme de tenseurs.
Parallélisme de tenseursServing
Technique de serving qui divise chaque matrice (tenseur) d'un modèle sur plusieurs GPU : chaque carte calcule une partie de la même couche et les résultats sont recombinés. Utile quand une couche ne tient pas sur une seule GPU, par exemple pour les gros MoE.