vLLM sort la v0.32.0rc3 : correction du NaN du noyau Mamba2 sur sm90
Outils et sortiesSource:GitHub
La release candidate v0.32.0rc3 de vLLM corrige le NaN en sortie du noyau chunk-scan de Mamba2 sur sm90. Pertinent pour qui sert des modèles hybrides state-space (Mamba2) sur du matériel Blackwell : c'est la build qui sert aussi les modèles décisionnels comme JEV-35B.
Articles connexes
Exécuter des Modèles LLM en Local : du Premier Install au Premier Modèle
De zéro au premier modèle qui répond : ce qu'il vous faut vraiment, Ollama pas à pas, comment choisir le modèle pour votre mémoire, les vitesses attendues par hardware et les problèmes typiques résolus.
Quand un grand modèle ne sert à rien : choisir par la taille
Mémoire, vitesse et latence : comment choisir la bonne taille de modèle pour son matériel, et quand le petit modèle gagne vraiment.
Matériel pour l'IA locale : ce qu'il faut en 2026
La règle (poids + KV cache), les prix réels d'octobre 2026 pour GPU NVIDIA, Apple Silicon et CPU, le compte sur 36 mois et le choix par budget.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.