Notizie

Pubblicato un agente mobile near-frontier con ambienti e ricette di training completamente aperti: MobileGym++ simula 35 app commerciali con workflow cross-app, con reset e verifica controllabili. Rilevante per chi costruisce agenti on-device.

LLMspeed è un tool Open Source (showcase Hacker News) che stima la velocità di Inferenza di oltre 250 combinazioni modello/hardware: RTX 3060 a H100, Mac Studio M5 Ultra, CPU-only. Le stime misurate vengono da Benchmark della community (r/LocalLLaMA, localscore.ai), le altre sono derivate da configurazioni simili o proiettate dalle specifiche. Utile per decidere l'hardware prima di spendere.

Il build b11717 aggiunge al backend Hexagon (NPU Snapdragon) le operazioni Hadamard MUL_MAT e GET_ROW per i quantizzati Q1_0 e Q2_0, flat e tiled, e riduce i packet count nel quantizzatore q8_1. Contributo Qualcomm: un passo ulteriore verso l'Inferenza su NPU mobile per i quantaggi più aggressivi.

Tool Open Source (Rust) che fa da gateway locale: sostituisce i segreti in uscita con mock realistici della stessa lunghezza e li ripristina in entrata, così l'LLM non tocca mai un valore reale. Integrazione in una riga. Da verificare con il progetto primario.

La 0.6 di Moose porta lo storage protetto delle credenziali per i servizi cloud, una modalità Local-Only con Ollama gestito dall'app (scaricamento e rimozione dei modelli), permessi per chat o per provider, un browser per GNOME Files per allegare documenti alle conversazioni e un catalogo di modelli locale ampliato. La 0.6.1 aggiunge Mistral e DeepSeek. Disponibile su Flathub.

FLUX 3 Image Klein è un modello da 5,6B open weights per la generazione di testo-in-immagine e l'editing: un solo modello per prompt, editing con riferimento e composizione multi-riferimento, con box di posizionamento nel prompt. Viene in BF16, FP8 e NVFP4 (5,3 GB).

Il modulo KyutaiSTT porta il riconoscimento vocale in streaming di Kyutai su Apple Silicon tramite MLX. Il checkpoint di riferimento è il STT-1B (inglese e francese) quantizzato a 8 bit, con un encoder Mimi causale che produce 32 codici audio ogni 80 ms. Licenza CC-BY-4.0.

Il build b11716 aggiunge al backend Hexagon (NPU Snapdragon) il supporto alle quantizzazioni Q1_0 e Q2_0, estendendo l'Inferenza su NPU mobile ai quantaggi più aggressivi. Rilascio pre, 17 ottobre.

sift è uno strumento Python a dipendenza zero che rileva il tipo di un file per contenuto (non solo estensione), ne estrae la struttura e chiede a un LLM locale — Ollama, LM Studio o MLX-LM — di classificarlo e riassumerlo. Nulla lascia la macchina; misura i numeri da solo e segnala i file che parlano all'assistente.

Nuovo Benchmark che misura quanto i modelli di generazione video mantengono una Memoria coerente del mondo che generano: contenuto già osservato preservato ed evoluzione coerente nel tempo, oltre a fedeltà visiva e durata.

inclusionAI rilascia Ling 3.1 Flash: 560B parametri totali, 25B attivi per Token, architettura ibrida MoE, Finestra di contesto fino a 1M di Token e licenza MIT. A 4 bit entra in 512GB di Memoria unificata: è il caso limite dell'articolo di oggi sul Mac Studio M5 Ultra.

NVIDIA pubblica su Hugging Face MagpieTTS Multilingual, un modello di sintesi vocale compatto da 357M parametri per 12 lingue, tra cui italiano e francese. Architettura encoder-decoder, pensato per esecuzione in locale a bassa Latenza.

Un paper mostra che i Benchmark di istruzione verificabile possono dare il punteggio pieno a risposte con poco contenuto reale, e che usare lo stesso criterio come reward nell'addestramento può indurre reward hacking.

Google DeepMind e GovTech Singapore usano modelli Gemma leggeri sul dispositivo per intercettare le truffe nelle chat private, senza inviare dati al cloud.

Un indice online raccoglie i modelli locali e indica quali girano sulla tua macchina in base a RAM e VRAM disponibili: utile prima di acquistare hardware per l'IA locale.

ARDY è un modello di diffusione autoregressiva da 326M di parametri per la generazione di moto umanoide interattivo in tempo reale: prompt testuali online, vincoli cinematici flessibili (traiettorie, keyframe, pose sparse) e sequenze fino a 8 secondi. Il checkpoint Core-RP-20FPS-Horizon40, addestrato su Bones Rigplay 1, è su Hugging Face dal 7 ottobre e ottimizzato per GPU NVIDIA Ampere, Hopper e Blackwell.

NVIDIA mette su Hugging Face Kumo-Tabular, un modello fondazione da 500 milioni di parametri per dati tabellari, con supporto OpenMDW 1.1 e checkpoint pronti all'uso: un esempio di IA locale su dati strutturati di business.

OpenBMB rilascia MiniCPM-V 4.7, variante 35B-A3B: il primo MoE open-source in grado di decodificare in modo fluido su smartphone senza compromessi di qualità — 13+ Token/secondo con soli 3GB di memoria su iPhone 17 Pro Max. Il segreto è lo scheduling degli esperti in anticipo (Lookahead Expert Scheduling su llama.cpp-omni) unito a Quantizzazione fine per livello e campionamento speculativo. Supporto day-0 per Rockchip, Intel, AMD e Arm; Ollama, llama.cpp, vLLM e SGLang.

Da quando gli assistenti di IA sono entrati nell'uso quotidiano, i patch del kernel Linux con contributi di IA/LLM dovevano dichiararlo con il tag «Assisted-by:». Con l'uso ormai ubiquo di questi strumenti, gli sviluppatori del kernel valutano di eliminare l'obbligo — la dichiarazione diventa una scelta, non un requisito.

Autotrust pubblica JEV-35B, un modello decisionale MoE da 35B parametri (3B attivi) fine-tunato su Qwen3.5-35B-A3B per classificazione di testo e scoring del rischio. In Quantizzazione NVFP4 occupa circa 25,6 GB di VRAM: gira su una GPU da 32 GB senza passare dal frontier.

ClawLoop (LongCat) forma agenti LLM in sandbox con un ciclo autosostenente in tre fasi — sintesi dei task, addestramento SFT/RL, diagnosi dei rollout — che restituisce feedback alla sintesi dei task successivi, eliminando il modello esterno che normalmente sintetizza task e traiettorie. Con Qwen3.6-27B migliora su SkillsBench, Claw-Eval-Live e ClawGym-Bench; i task raffinati si trasferiscono con guadagni anche a Qwen3.5-4B e 9B.

Un nuovo paper Hugging Face mostra come i terminal agente vadano oltre le operazioni locali verso task professionali reali: accumulare prove, regolare la strategia e trasformare risultati intermedi in output finali.

Nuovo paper su Hugging Face: allineare le rappresentazioni latenti di generatori di immagini con architetture diverse (diffusion e flow matching) è ancora un problema aperto. InstantFusion propone un'interfaccia latente condivisa per rendere i generatori interoperabili.

I modelli multimediali pagano un costo elevato codificando ogni immagine in Token fissi e densi. VisionWeave propone rappresentazioni visive elastiche: dettaglio fine dove serve, codifica compatta altrove, senza sacrificare la comprensione.

Un progetto GitHub che esegue workflow AutoML multi-agente interamente su Ollama, senza chiamate API né cloud. Verificato alla fonte primaria; progetto iniziale (segnale HN basso).

Progetto Open Source su GitHub: un tutor locale che studia i libri e i documenti che gli dai e ti insegna il contenuto con quiz e domande, usando un LLM locale. Pensato per chi vuole apprendere senza mandare i propri materiali a un cloud.

Il progetto Open Source KNOD fa elaborare i pacchetti di rete alle GPU AMD senza hardware dedicato, con prestazioni elevate e basso consumo. Un aggiornamento dello sviluppo è stato presentato al Linux Plumbers Conference di Praga.

Un metodo per monitorare e intervenire in tempo reale sulle traiettorie degli agenti LLM, usando un trasporto ottimale strutturale su streaming: evita i costi e la Latenza di un agente di salvaguardia a ogni passo, restando proattivo invece di esaminare i log a posteriori.

Su Hugging Face arriva ej, un piccolo Modello di decisione calibrato da 11,4 MB con pesi aperti: dato uno stato e delle domande tipizzate, restituisce una distribuzione di probabilità per ciascuna in un solo passaggio, senza decodificare Token. Pensato per girare su CPU con picchi di memoria residua di 128 MB.

Un nuovo paper mostra che un blocco Transformer unico, applicato ricorsivamente, eguaglia l'accuratezza di un encoder visivo a piena profondità a parità di FLOPs di Inferenza. La chiave è rappresentare gli FFN di ciascuna profondità ricorsiva come combinazione convessa di una piccola banca di expert condivisi, senza distillazione delle feature intermedie.

Memento 3, seguito della serie Memento, permette ad agenti LLM con pesi congelati di apprendere in continuo modelli del mondo espliciti in ambienti sconosciuti, usando un quaderno di regole riflessive che si aggiorna man mano arrivano nuove evidenze.

Un nuovo paper mostra come un modello multimodale possa interiorizzare la capacità di ragionamento spaziale di un agente che usa strumenti, riducendo il costo di Inferenza: il modello impara da tracciamenti verificati delle proprie esecuzioni, senza dipendere da strumenti esterni.

Un Transformer addestrato a prevedere i marginali condizionali delle variabili mancanti, l'ingrediente chiave per calcolare il rischio bayesiano e il valore di un'osservazione aggiuntiva prima di decidere in condizioni di informazione incompleta.

Il team Google AI Edge ha rilasciato ML Drift, un motore di calcolo GPU cross-platform per l'Inferenza on-device sotto licenza Apache 2.0. Copre OpenGL ES, OpenCL, Metal e WebGPU, supporta tensori 5D per reti 3D e modelli generativi, ed è il nuovo cuore di accelerazione di LiteRT.

Un nuovo paper di Hugging Face propone che gli agenti LLM lavorino direttamente sui file della workspace tramite tab dedicate, senza indicizzazione: l'agente cerca e legge i documenti dal terminale e produce le deliverable a partire da più file in un unico flusso.

Su LocalLLaMA un autore racconta di aver costruito l'architettura alla base dei Modello di decisione Jev un anno fa, e di averla resa completamente Open Source: modello, dataset e paper. Un retroscena che accompagna l'arrivo del formato System One in llama.cpp e l'apertura dell'ecosistema Modello di decisione alla comunità.

Il server di llama.cpp supporta ora i Modello di decisione: invii uno stato (testo, JSON o screenshot) e domande tipizzate, e il modello restituisce una probabilità per ogni opzione in un unico passaggio, senza generare testo. Tre tipi di domanda: choice, score e noul. Sei modelli disponibili da 144M (Julia-1) a 27B (OpenJev, Clef): 3-43 ms per domanda su RTX PRO 6000, licenze Apache 2.0 tranne OpenJev (CC BY-NC).

Nuovo modello sovrano open weight di Aleph Alpha, addestrato da zero in Germania con 78B parametri (3,46B attivi) e fino a 1M Token di contesto. Progettato per ambienti mission critical: ragionamento in più passaggi, estrazione strutturata, RAG e tool calling affidabile, con tedesco e inglese nativi. I pesi sono su Hugging Face, con report tecnico completo.

Uno studio su agenti con strumenti in ambienti di Retrieval (recupero) con fallimenti controllati: quando il tool torna risultati inutili, l'agente lo giudica come tale, ma raramente trasforma quel giudizio in una decisione di stop. La distinzione tra 'giudicare il risultato' e 'agire su quel giudizio' è zero per chi si ferma per scadenza, ed è la misura del gap che divide i modelli di oggi.

L'harness eseguibile attorno a un modello GUI — come vengono assemblati gli osservabili, come si eseguono le azioni, come si verificano e si recupera dai fallimenti — determina gran parte del comportamento dell'agente. GUI-HARVEST lo ottimizza automaticamente a partire dall'evidenza delle esecuzioni, affrontando la riconciliazione tra intenzione del modello ed effetto osservato, la diagnosi dei fallimenti sotto esecuzione variabile e il controllo di terminazione.

Uno strumento Open Source che schedula più LLM locali sullo stesso GPU, evitando che si contendano la VRAM a turno. Utile per chi fa girare più modelli (un assistente, un embedder, un classificatore) sulla stessa scheda e vuole latenze prevedibili.

Il paper PaLoRA mostra che la restrizione del passo nei metodi LoRA per l'apprendimento continuo dovrebbe crescere con il rango effettivo della conoscenza accumulata, e propone un ritmo adattivo che porta +4% di accuratezza su Benchmark a 50 task.

Kandinsky Lab pubblica il paper di Kandinsky 6.0 Video: una coppia di modelli foundation per la generazione sincronizzata di video e audio, primo paper della giornata su Hugging Face con 8 modelli e 6 Spaces già collegati.

Lightricks pubblica LTX-2.5, open weights: generazione video con audio sincronizzato a partire da testo, immagine o video, con multi-shot nativo che preserva identità e stile tra le scene, un nuovo decodificatore video a diffusione al posto della fase VAE e un encoder di testo Gemma 4 12B. I pesi sono pensati per l'esecuzione e il Fine-tuning su infrastruttura propria.

Un'app macOS nativa trasforma la dettatura in testo con Whisper eseguito sul dispositivo e un passaggio di riscrittura con un LLM locale (Qwen) sulla GPU M-series: nessun byte lascia il computer, nessun account cloud. L'audio passa per Whisper, poi il modello locale ripulisce punteggiatura e formato prima di consegnare il testo all'app target.

Su GitHub un progetto sperimentale sposta parte dell'Inferenza di un LLM locale sull'iPhone accoppiato, per sfruttare la GPU e la memoria del telefono come acceleratore secondario: un'idea per chi vuole più Token al secondo senza cambiare scheda video.

Moose è una nuova app nativa GTK4/libadwaita per GNOME, scritta in Rust e in licenza GPLv3, che permette di chiacchierare con i modelli locali via Ollama: gestisce l'installazione di Ollama, la gestione dei modelli e il caricamento di documenti e immagini locali. È su Flathub, con il codice su GitHub, ed è stata annunciata su This Week in GNOME.

Un piccolo router Open Source (v0.4.0) che aggiunge capacità multimodali a un modello LLM che lavora solo sul testo: immagini e audio vengono gestiti a livello di routing, così il modello locale resta quello che c'è già in giro senza doverne cambiare uno.

Nuovo paper di ricerca: quando l'utente cambia idea durante una conversazione multi-turno, le parti superate dell'intenzione continuano a influenzare la risposta finale (intent drift). I paper introducono IntentFlux, un Benchmark eseguibile che converte task verificabili in dialoghi con cambi di intenzione controllati, e propone metodi per rilevare e riparare il fenomeno.

Un paper della community Hugging Face esplora come i prior impliciti dei modelli agenti possano guidare l'apprendimento per policy, riducendo il costo della formazione di agenti LLM in domini strutturati.

llama.cpp b11337 amplia la matrice di backend per CPU ed edge: Snapdragon (Adreno e Hexagon), OpenVINO, SYCL FP16/FP32, CUDA 13, Android e ROCm 10, con correzioni al server. Segna l'ottava release della serie del 2 ottobre.

Un articolo ben argomentato spiega perché un modello locale che si blocca, ignora il System prompt o continua a generare oltre la risposta è quasi sempre un problema del chat template o dei metadati Token nel file GGUF, non dei pesi: e come correggerli con GGUF-surgeon senza ri-quantizzare.

Un proxy di routing Open Source (Apache 2.0) che fa da cascata per i modelli LLM: parte dal modello locale su Ollama e sale verso il cloud solo quando serve, con caching semantico e tracciamento dell'affidabilità per ogni hop. Un pattern interessante per chi vuole il locale per default.

I ricercatori dell'University of Central Florida propongono TACO, un ottimizzatore ternario one-sparse per colonna per il Fine-tuning degli LLM: mantiene i gradienti di primo ordine riducendo lo stato persistente dell'ottimizzatore da 27,7 GB a 0,16 GB su OPT-13B.

Il progetto vLLM tagga la versione proto-v0.4.0, la traccia di sviluppo sperimentale che precede i rilasci stabili del motore di Inferenza per modelli linguistici. Un passo in più per chi serve modelli locali in produzione.

Un nuovo metodo, WUSH-KV, riduce la memoria e la banda occupate dalla KV cache per l'Inferenza a lungo contesto, quantizzandola a bassa precisione con trasformazioni calibrate sui dati. A 2 bit, l'approccio eguaglia o supera la trasformazione OSCAR su tutti i modelli e i task testati. È il segno che l'ottimizzazione della memoria non riguarda più solo i pesi, ma anche la memoria di contesto.

Lanciato su Hacker News (YC S25), Magnitude è un motore di Inferenza in Rust che compila e ottimizza i kernel direttamente sull'hardware di destinazione. Sugli modelli open dichiara velocità fino a 2× rispetto a llama.cpp, su Apple Silicon, NVIDIA, AMD e CPU. Verificato sul repository ufficiale.

Con Ollama 0.35 si usano i modelli di decisione basati sull'API Jev di TypeSafe: si invia un testo come stato con un insieme di domande nominate e il modello locale risponde a tutte in un'unica richiesta, con probabilità per ogni opzione e senza generazione di testo libero. Pensato per triage di ticket, routing di modelli e moderazione del contenuto.

Ollama 0.35 aggiunge il supporto ai modelli decisionali: il modello nimble da 9B di Bespoke Labs gira interamente in locale e risponde a domande tipizzate (vero/falso, scala numerica, scelta multipla) con la nuova API systemone.

Un esperimento ben documentato: 67 video di un corso trascritti in locale e offline con whisper-large-v3-turbo ricompilato su MLX per la GPU del Mac — 17 ore di video elaborate in 34 minuti, senza un byte che esca dalla macchina.

La classifica di settembre 2026 ordina i modelli Open-weight per fascia di VRAM: GPT-OSS 20B e ZAYA1-8B guidano la fascia 8-16 GB, Qwen3.6-27B (46,49) e Gemma 4 31B (44,84) dominano la fascia 16-24 GB su una singola RTX 4090 in Q4, e i MoE da un trilione di parametri richiedono 8x H100. Utile come riferimento quando si sceglie la dimensione del modello per il proprio hardware.

Qwen3Guard-Stream è un modello di moderazione da 0,6B con un classificatore a livello di Token per la sorveglianza in tempo reale durante la generazione incrementale. Tre livelli di gravità (sicuro, controverso, non sicuro) e 119 lingue: un componente piccolo e locale per filtrare gli output senza mandarli nel cloud.

Un esperimento creativo a Vilnius: un muro con microfoni e altoparlanti alimentato da un pipeline LLM che gira interamente in locale. I partecipanti parlano al muro e ricevono risposte generate su posto — niente cloud, niente server esterni.

DeepSeek V4.1 Flash porta l'architettura MoE a un livello nuovo: 552 miliardi di parametri totali, ma solo 8-16 miliardi attivi per Token, una Finestra di contesto da 1M di Token e licenza MIT. Un modello pensato per i servizi in linea, ma utile come riferimento per chi impara a leggere le schede tecniche dei modelli.

La serie di 21 patch per il driver open-source AMDXDNA estende il supporto ai NPU3 (Ryzen AI 300): invio dei comandi in modalità kernel, gestione completa del suspend/resume e Telemetria, preparando la strada all'uso degli NPU per l'IA locale su Linux.

Gemma 4, rilasciata a marzo 2026, segna il cambio di licenza della famiglia Google: per la prima volta i pesi sono sotto Apache 2.0. Sono disponibili le taglie E2B, E4B, 26B A4B (MoE) e 31B, con finestre di contesto fino a 256K Token e input da testo, immagini e audio. A giugno è arrivato anche il 12B Unified, una taglia ideale per i PC con GPU consumer.

Prism ML pubblica Bonsai-2 27B in GGUF: un modello di ragionamento da 27B con pesi ternari a 1,72 bit per peso, 5,95 GB e contesto da 262K Token, che mantiene il 98,2% dell'intelligenza FP16 e arriva a ~47 tok/s su un laptop Apple M5 Max.

Il paper PISA propone una strategia di selezione Top-K a piramide che porta l'attenzione a blocchi sparsi a complessità O(N log N), riducendo il collo di bottiglia quadratico della selezione dei blocchi; kernel Triton per addestramento e Inferenza.

La release v0.11.4 di Open WebUI, pubblicata lo scorso 21 settembre, porta due miglioramenti diretti al RAG: i metadati dei file caricati viaggiano ora con ogni blocco e arrivano insieme alle fonti recuperate, e la ricerca ibrida gira nativamente nel database (pgvector) invece di caricare l'intera collezione in memoria, rendendo le grandi basi di conoscenza molto più veloci. L'immagine slim scende inoltre a circa 175 MB.

Nuovo modello open di trascrizione vocale: streaming in tempo reale con Latenza contenuta, pensato per dettatura live e sottotitoli. Un passo in più verso l'audio che gira davvero in locale, senza passare per il cloud.

La release v0.34.4 di Ollama porta gli output strutturati su modelli con thinking in un unico passaggio (più veloci e affidabili), corregge gli errori 'model not found' con librerie locali grandi e accelera l'elaborazione del prompt di Qwen 3.8 su Apple Silicon. Utile aggiornamento se usi Ollama in produzione.

NemotronLabs VoiceChat 11B è un modello vocale end-to-end full-duplex: comprensione e generazione audio in un'unica architettura, senza lo stack in cascata ASR→LLM→TTS. È il primo modello full-duplex open a supportare il tool calling mantenendo il flusso naturale: risposte in ~450ms, interruzioni e turni naturali. Il codice è su GitHub.

Mozilla e Mistral hanno annunciato una partnership che integra l'IA di Mistral — modelli aperti, multilingue e con enfasi sulla privacy — in Firefox Smart Window, il pannello IA del browser. Un segnale in linea con la direzione del nostro articolo di oggi: portare l'IA dentro gli strumenti quotidiani di lavoro, con dati che restano il più possibile sotto controllo dell'utente.

Il report settimanale del progetto llama.cpp copre la build corrente b4991 e le attività della settimana: un bug in cui Gemma 4 in Modalità thinking produceva output progressivamente corrotti in coda è stato risolto trimmando gli spazi nel chat template; i runner CI Vulkan sono stati aggiornati al driver NVIDIA r615, e il report analizza i problemi più attivi della community.

Qwen-Image 2.1 è un modello Open-weight da 7B (DiT da 32 layer) che unisce generazione da testo fino a 2048x2048, editing con fino a 10 immagini di riferimento e trasparenza RGBA nativa. Con ~14GB di VRAM in bfloat16 gira su hardware consumer, e ComfyUI lo supporta nativamente: un passo concreto per la produzione di immagini senza cloud.

Il progetto vLLM ha rilasciato la versione 0.29.0, con 594 commit e 277 contribuenti. La novità principale è Model Runner V2, ora attivo di default per tutti i modelli, con profiling di memoria CUDA per l'autodimensionamento del KV cache. Arrivano anche i supporti a nuovi modelli: Qwen3.8-Flash-Next, Hy4-preview (MoE da 770B con MTP nativo), Granite SWA e checkpoint Kimi K3 in NVFP4.

Il team Qwen di Alibaba ha rilasciato Qwen3.8-Omni-Flash, un modello nativo omnimodale che gestisce testo, immagini, audio e video insieme, con una Finestra di contesto da un milione di Token. È costruito attorno alle capacità agente: pianifica i task, chiama i tool e produce contenuti audiovisivi finiti. La famiglia Qwen continua a crescere proprio mentre questa guida la analizza per l'uso locale.

Open WebUI v0.11.1 aggiunge l'approvazione delle chiamate ai tool (un pulsante pausa tra il modello e i suoi tool), una funzione integrata ask_user che permette al modello di fermarsi e farti una domanda a metà risposta, un file browser nel terminale con anteprime dei documenti in loco, e uno Streaming incrementale che riduce di circa il 99% il traffico delle risposte. La release completa include oltre novanta aggiunte e più di duecento correzioni.

La versione 0.34.0 di Ollama permette di usare i modelli locali direttamente in ChatGPT Desktop su macOS, migliora le prestazioni dell'output strutturato su Apple Silicon e aggiunge ricerca dei tool client e compattazione delle risposte nell'API compatibile OpenAI.

Gemma4 può ora processare immagini e audio sull'engine MLX. In più, i Token di prompt in cache vengono riportati correttamente e i parametri di default definiti nei file GGUF sono rispettati.

L'app Ollama segue di nuovo l'aspetto di sistema ripristinando la dark mode, l'istanza macOS già aperta non viene più duplicata e il proxy per Claude Desktop non interrompe le richieste in corso quando il catalogo modelli si aggiorna.

Nuovo supporto per Qwen3.8 Flash Next sull'engine MLX, output strutturato per mlxrunner e correzione dei timeout della GPU Metal quando si caricano modelli da storage lenti.

La release introduce la configurazione di Claude Desktop con Ollama come provider gateway di terze parti, oltre a miglioramenti significativi alla caching: i restore point del Prefill rendono i retry molto più efficienti e risolvono un hang con i client che cancellano i Prefill lunghi.

Meta ha rilasciato Llama 4, il nuovo modello linguistico Open Source con 100 miliardi di parametri. Le prestazioni superano GPT-4 su molti Benchmark e il modello è ottimizzato per l'esecuzione locale con Quantizzazione.

Apple ha aggiornato il framework MLX con il supporto nativo per modelli GGUF quantizzati a 4-bit, permettendo di eseguire modelli sempre più grandi sui chip M-series.

La release di Ollama introduce il supporto per nuovi modelli Open Source e un miglioramento misurabile delle prestazioni di Inferenza. Consiglio: dopo ogni aggiornamento, riavvia il server e verifica i modelli con `Ollama list`.