Notizie

La 0.6 di Moose porta lo storage protetto delle credenziali per i servizi cloud, una modalità Local-Only con Ollama gestito dall'app (scaricamento e rimozione dei modelli), permessi per chat o per provider, un browser per GNOME Files per allegare documenti alle conversazioni e un catalogo di modelli locale ampliato. La 0.6.1 aggiunge Mistral e DeepSeek. Disponibile su Flathub.

Il modulo KyutaiSTT porta il riconoscimento vocale in streaming di Kyutai su Apple Silicon tramite MLX. Il checkpoint di riferimento è il STT-1B (inglese e francese) quantizzato a 8 bit, con un encoder Mimi causale che produce 32 codici audio ogni 80 ms. Licenza CC-BY-4.0.

Google DeepMind e GovTech Singapore usano modelli Gemma leggeri sul dispositivo per intercettare le truffe nelle chat private, senza inviare dati al cloud.

Progetto Open Source su GitHub: un tutor locale che studia i libri e i documenti che gli dai e ti insegna il contenuto con quiz e domande, usando un LLM locale. Pensato per chi vuole apprendere senza mandare i propri materiali a un cloud.

Il team Google AI Edge ha rilasciato ML Drift, un motore di calcolo GPU cross-platform per l'Inferenza on-device sotto licenza Apache 2.0. Copre OpenGL ES, OpenCL, Metal e WebGPU, supporta tensori 5D per reti 3D e modelli generativi, ed è il nuovo cuore di accelerazione di LiteRT.

Un'app macOS nativa trasforma la dettatura in testo con Whisper eseguito sul dispositivo e un passaggio di riscrittura con un LLM locale (Qwen) sulla GPU M-series: nessun byte lascia il computer, nessun account cloud. L'audio passa per Whisper, poi il modello locale ripulisce punteggiatura e formato prima di consegnare il testo all'app target.

Su GitHub un progetto sperimentale sposta parte dell'Inferenza di un LLM locale sull'iPhone accoppiato, per sfruttare la GPU e la memoria del telefono come acceleratore secondario: un'idea per chi vuole più Token al secondo senza cambiare scheda video.

llama.cpp b11337 amplia la matrice di backend per CPU ed edge: Snapdragon (Adreno e Hexagon), OpenVINO, SYCL FP16/FP32, CUDA 13, Android e ROCm 10, con correzioni al server. Segna l'ottava release della serie del 2 ottobre.

Il progetto vLLM tagga la versione proto-v0.4.0, la traccia di sviluppo sperimentale che precede i rilasci stabili del motore di Inferenza per modelli linguistici. Un passo in più per chi serve modelli locali in produzione.

Un esperimento ben documentato: 67 video di un corso trascritti in locale e offline con whisper-large-v3-turbo ricompilato su MLX per la GPU del Mac — 17 ore di video elaborate in 34 minuti, senza un byte che esca dalla macchina.

La release v0.34.4 di Ollama porta gli output strutturati su modelli con thinking in un unico passaggio (più veloci e affidabili), corregge gli errori 'model not found' con librerie locali grandi e accelera l'elaborazione del prompt di Qwen 3.8 su Apple Silicon. Utile aggiornamento se usi Ollama in produzione.

Il report settimanale del progetto llama.cpp copre la build corrente b4991 e le attività della settimana: un bug in cui Gemma 4 in Modalità thinking produceva output progressivamente corrotti in coda è stato risolto trimmando gli spazi nel chat template; i runner CI Vulkan sono stati aggiornati al driver NVIDIA r615, e il report analizza i problemi più attivi della community.

Il progetto vLLM ha rilasciato la versione 0.29.0, con 594 commit e 277 contribuenti. La novità principale è Model Runner V2, ora attivo di default per tutti i modelli, con profiling di memoria CUDA per l'autodimensionamento del KV cache. Arrivano anche i supporti a nuovi modelli: Qwen3.8-Flash-Next, Hy4-preview (MoE da 770B con MTP nativo), Granite SWA e checkpoint Kimi K3 in NVFP4.

Gemma4 può ora processare immagini e audio sull'engine MLX. In più, i Token di prompt in cache vengono riportati correttamente e i parametri di default definiti nei file GGUF sono rispettati.

Nuovo supporto per Qwen3.8 Flash Next sull'engine MLX, output strutturato per mlxrunner e correzione dei timeout della GPU Metal quando si caricano modelli da storage lenti.

Apple ha aggiornato il framework MLX con il supporto nativo per modelli GGUF quantizzati a 4-bit, permettendo di eseguire modelli sempre più grandi sui chip M-series.