vLLM publie la version 0.29.0 : Model Runner V2 par défaut et prise en charge de nouveaux modèles
On-device et edgeArticles connexes
Qwen3.8-27B vs Gemma 4 26B A4B : la nouvelle frontière à 24 Go
Dense de 27,8 Md ou MoE avec 3,8 Md actifs, un contexte de 262K contre 256K et presque le même poids en Q4_K_M : deux façons opposées d'apporter la qualité d'un grand modèle sur une carte grand public de 24 Go. Qui va plus vite, qui va plus en profondeur, et quand choisir l'un ou l'autre.
Modèles de décision en local : JEV-35B et le System 1 à 3 Md actifs
Pas besoin d'un grand LLM pour décider. JEV-35B (35 Md, 3 Md actifs) en NVFP4 sur une GPU de 32 Go et ej (11,4 Mo) sur CPU montrent comment faire du routage, de la classification et du contrôle qualité sans générer un seul jeton.
Mac Studio M5 Ultra: guide pratique 512 Go - les modèles qui tiennent et setup GGUF
Le Mac Studio 512 Go fait tenir un MoE de 560B en 4 bit avec un large contexte. Dans ce guide : la règle des 4 bit, l’installation GGUF en trois voies, le vrai goulot d’étranglement (le cache KV) et le comparatif de coût Mac vs API, chiffres à l’appui.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.