Vai al contenuto principale
← Torna alle notizie

vLLM rilascia la versione 0.29.0: Model Runner V2 di default e supporto a nuovi modelli

On-device e edge
Fonte:vLLM Project (GitHub)
Il progetto vLLM ha rilasciato la versione 0.29.0, con 594 commit e 277 contribuenti. La novità principale è Model Runner V2, ora attivo di default per tutti i modelli, con profiling di memoria CUDA per l'autodimensionamento del KV cache. Arrivano anche i supporti a nuovi modelli: Qwen3.8-Flash-Next, Hy4-preview (MoE da 770B con MTP nativo), Granite SWA e checkpoint Kimi K3 in NVFP4.
Leggi l'articolo originale

Articoli correlati

Qwen3.8-27B vs Gemma 4 26B A4B: la nuova frontiera a 24GB

Dense da 27,8B o MoE con 3,8B attivi, contesto da 262K contro 256K e quasi lo stesso peso in Q4_K_M: due modi opposti di portare la qualità da modello grande su una scheda consumer da 24GB. Chi va più in fretta, chi va più in profondità, e quando scegliere l'uno o l'altro.

Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi

Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.

Mac Studio M5 Ultra: guida pratica a 512GB - modelli che ci stanno e setup GGUF

Il Mac Studio da 512GB fa stare un MoE da 560B a 4 bit con contesto ampio. In questa guida: la regola dei 4 bit, il setup GGUF in tre vie, il collo di bottiglia reale (la KV cache) e il confronto costi Mac vs API coi numeri sul tavolo.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

🌏

inclusionAI Ling 3.1 Flash (MoE)

Modelli

Modello MoE open-weight di inclusionAI: 560B parametri totali, 25B attivi per token, architettura ibrida (attenzione lineare KDA + Gated MLA), finestra di contesto fino a 1M di token, licenza MIT. Reasoning ibrido con modalità di pensiero on/off. A 4 bit entra in 512GB di memoria unificata.

🧠

Qwen3 30B-A3B (MoE)

Modelli

Modello Mixture-of-Experts: 30B di parametri totali ma solo 3,3B attivi per token. Velocità da modello piccolo con qualità da modello medio; il rapporto qualità/velocità migliore della sua classe.

⚡

DeepSeek V4.1 Flash

Modelli

Modello MoE di DeepSeek con 552B di parametri totali e 8-16B attivi per token. Contesto da 1M di token, licenza MIT: uso commerciale libero. Pensato per il serving in linea, troppo grande per un uso locale su un singolo PC.

🐑

Llama 4 Maverick (MoE)

Modelli

Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.

Sfoglia tutte le risorse