vLLM rilascia la v0.32.0rc3: correzione del NaN nel kernel Mamba2 su sm90
Strumenti e rilasciFonte:GitHub
La release candidate v0.32.0rc3 di vLLM corregge il NaN in uscita del kernel chunk-scan di Mamba2 su sm90. Rilevante per chi serve modelli ibridi state-space (Mamba2) su hardware Blackwell: è la build che serve anche i modelli decisionali come JEV-35B.
Articoli correlati
Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello
Da zero al primo modello che risponde: cosa ti serve davvero, Ollama passo per passo, come scegliere il modello per la tua memoria, la velocità attesa per hardware e i problemi tipici con le soluzioni.
Quando un modello grande non serve: scegliere per dimensione
Memoria, velocità e latenza: come scegliere la dimensione giusta del modello per il proprio hardware, e quando il modello piccolo vince davvero.
Hardware per IA Locale: Cosa Serve Nel 2026
La regola (pesi + KV cache), i prezzi reali di ottobre 2026 per GPU NVIDIA, Apple Silicon e CPU, il conto in 36 mesi e la scelta per budget.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.