vLLM v0.31.0rc3 : prise en charge des entrées dummy aléatoires dans le Model Runner V2
Matériel et accélérateursArticles connexes
vLLM : servir des modèles rapides
vLLM est le moteur open source qui transforme un modèle local en serveur concurrent : PagedAttention, batching continu, installation et les concepts (débit, quantification, KV cache) pour choisir quand l'utiliser à la place d'Ollama.
Nemotron-Parse : la famille OCR de NVIDIA pour lire vos documents en local
NVIDIA a réédité Nemotron Parse (v1.1, v1.2, 2.0) dans la même semaine du 20 octobre : moins d'un milliard de paramètres, structure de page incluse. Installation locale avec vLLM, et limites honnêtes.
Les cartes Blackwell de 16 Go : 5060 Ti, 5070, 5070 Ti
Le palier de 16 Go de VRAM est le centre de gravité de l'IA locale en 2026. C'est la mémoire suffisante pour faire tourner les meilleurs modèles denses open source en format Q4 — la classe 27B, le nouveau point d'équilibre du catalogue ouvert — sans sacrifier trop de contexte, et un prix catalogue qui (selon le mois) reste à la portée d'un budget personnel. La génération Blackwell offre trois cartes exactement au cœur de ce palier : RTX 5060 Ti, 5070 et 5070 Ti. Même génération, même GDDR7, trois expériences très différentes. Nous les comparons aujourd'hui : ce que chacune vous apporte vraiment, et où placer votre budget.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.