Aller au contenu principal
← Retour aux actualités

llama.cpp : rapport hebdomadaire du 7 au 14 septembre — build b4991, bug de thinking de Gemma 4 corrigé et driver Vulkan r615 pour la CI

On-device et edge
Source:Weekly Project News (Buttondown)
Le rapport hebdomadaire du projet llama.cpp couvre la build courante b4991 et l'activité de la semaine : un bug où Gemma 4 en Mode thinking produisait des sorties progressivement corrompues en fin de réponse a été résolu en trimmant les espaces dans le chat template ; les runner CI Vulkan sont passés au driver NVIDIA r615, et le rapport analyse les problèmes les plus actifs de la communauté.
Lire l'article original

Articles connexes

NVIDIA, AMD et Intel pour l'IA locale : quelle plateforme choisir

CUDA, ROCm ou Vulkan ? Nous comparons les trois plateformes pour l'IA locale sur la base de ce qui est réellement disponible : stacks logiciels officiels, cartes par palier de VRAM (12, 16 et 24 Go) et vitesses réelles. Où reste le choix évident, où AMD l'emporte au rapport qualité-prix et quand vaut-il la peine de quitter NVIDIA.

Nemotron-Parse : la famille OCR de NVIDIA pour lire vos documents en local

NVIDIA a réédité Nemotron Parse (v1.1, v1.2, 2.0) dans la même semaine du 20 octobre : moins d'un milliard de paramètres, structure de page incluse. Installation locale avec vLLM, et limites honnêtes.

Mistral vs Gemma : les modèles légers comparés

Familles, tailles, contexte, licences : le comparatif complet des deux familles de modèles ouverts les plus compactes, et comment choisir la bonne pour votre matériel.

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.

Ressources liées

Outils et ressources des archives iaLocale pertinents pour ce contenu.

💎

Gemma 3

Modèles

Famille de modèles open de Google en tailles 1B, 4B, 12B et 27B. Contexte de 128K tokens, plus de 140 langues supportées et entrées multimédias (texte et images). Excellent choix pour le RAG et les documents longs sur du matériel grand public.

💎

Gemma 3 4B

Modèles

La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.

💎

Gemma 4 12B

Modèles

La taglia 12B della famiglia Gemma 4 di Google: 11,95B dense, contesto 256K e multimodalità integrata senza encoder separati (testo+immagini+audio). Licenza Apache 2.0. In Q4_K_M occupa circa 7,4GB: il punto di equilibrio tra qualità e requisiti hardware per l'uso locale su 8-16GB.

💎

Gemma 4 26B A4B

Modèles

Il modello MoE della famiglia Gemma 4: 25,2B di parametri totali con 3,8B attivi per token. Contesto 256K, input testo+immagini, oltre 140 lingue, Apache 2.0. In Q4_K_M pesa circa 16,8GB: la scelta per chi ha 24GB di VRAM e vuole qualità da modello grande con velocità da modello piccolo.

Parcourir toutes les ressources