Actualités

La 0.6 de Moose apporte le stockage protégé des identifiants pour les services cloud, un mode Local-Only avec Ollama géré par l'app (téléchargement et suppression des modèles), des permissions par chat ou par fournisseur, un navigateur GNOME Files pour joindre des documents aux conversations et un catalogue de modèles local élargi. La 0.6.1 ajoute Mistral et DeepSeek. Disponible sur Flathub.

Le module KyutaiSTT porte la reconnaissance vocale en flux de Kyutai sur Apple Silicon via MLX. Le point de contrôle de référence est le STT-1B (anglais et français) quantisé en 8 bits, avec un encodeur Mimi causal qui produit 32 codes audio toutes les 80 ms. Licence CC-BY-4.0.

Google DeepMind et GovTech Singapore utilisent des modèles Gemma légers sur l'appareil pour intercepter les arnaques dans les chat privés, sans envoyer de données vers le cloud.

Projet Open Source sur GitHub : un tuteur local qui étudie les livres et les documents que vous lui donnez et vous enseigne le contenu avec quiz et questions, en utilisant un LLM local. Pensé pour ceux qui veulent apprendre sans envoyer leurs matériaux à un cloud.

L'équipe Google AI Edge a publié ML Drift, un moteur de calcul GPU cross-platform pour l'Inférence on-device sous licence Apache 2.0. Il couvre OpenGL ES, OpenCL, Metal et WebGPU, prend en charge les tenseurs 5D pour les réseaux 3D et les modèles génératifs, et est le nouveau cœur d'accélération de LiteRT.

Une app macOS native transforme la dictée en texte avec Whisper exécuté sur l'appareil et un passage de réécriture avec un LLM local (Qwen) sur la GPU M-series : aucun octet ne quitte l'ordinateur, aucun compte cloud. L'audio passe par Whisper, puis le modèle local nettoie la ponctuation et le formatage avant de livrer le texte à l'application cible.

Sur GitHub, un projet expérimental déplace une partie de l'Inférence d'un LLM local sur l'iPhone appairé, pour exploiter le GPU et la mémoire du téléphone comme accélérateur secondaire : une idée pour qui veut plus de jetons par seconde sans changer de carte graphique.

llama.cpp b11337 élargit la matrice de backends pour CPU et edge : Snapdragon (Adreno et Hexagon), OpenVINO, SYCL FP16/FP32, CUDA 13, Android et ROCm 10, avec des correctifs pour le serveur. Huitième release de la série du 2 octobre.

Le projet vLLM taggue la version proto-v0.4.0, la branche de développement expérimentale qui précède les sorties stables du moteur d'Inférence pour modèles de langage. Un pas de plus pour qui sert des modèles locaux en production.

Une expérience bien documentée : 67 vidéos d'un cours transcrites en local et hors ligne avec whisper-large-v3-turbo recompiled sur MLX pour la GPU du Mac — 17 heures de vidéo traitées en 34 minutes, sans qu'aucun byte ne quitte la machine.

La release v0.34.4 d'Ollama applique les outputs structurés sur les modèles avec thinking en un seul passage (plus rapides et plus fiables), corrige les erreurs 'model not found' avec de grandes bibliothèques locales et accélère le traitement du prompt de Qwen 3.8 sur Apple Silicon. Un utile correctif si vous utilisez Ollama en production.

Le rapport hebdomadaire du projet llama.cpp couvre la build courante b4991 et l'activité de la semaine : un bug où Gemma 4 en Mode thinking produisait des sorties progressivement corrompues en fin de réponse a été résolu en trimmant les espaces dans le chat template ; les runner CI Vulkan sont passés au driver NVIDIA r615, et le rapport analyse les problèmes les plus actifs de la communauté.

Le projet vLLM a publié la version 0.29.0, avec 594 commits et 277 contributeurs. La nouveauté principale est Model Runner V2, désormais actif par défaut pour tous les modèles, avec un profilage de mémoire CUDA pour l'auto-dimensionnement du KV cache. Des prises en charge de nouveaux modèles arrivent aussi : Qwen3.8-Flash-Next, Hy4-preview (MoE de 770B avec MTP natif), Granite SWA et les checkpoint Kimi K3 en NVFP4.

Gemma4 peut maintenant traiter images et audio sur le moteur MLX. En plus, les jetons de prompt mis en cache sont correctement rapportés et les paramètres par défaut définis dans les fichiers GGUF sont respectés.

Nouveau support de Qwen3.8 Flash Next sur le moteur MLX, sortie structurée pour mlxrunner et correction des timeouts de la GPU Metal lors du chargement de modèles depuis un stockage lent.

Apple a mis à jour le framework MLX avec le support natif pour les modèles GGUF quantifiés à 4 bits, permettant d'exécuter des modèles toujours plus grands sur les puces M-series.