MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM

35 miliardi di parametri che rispondono in tempo reale su uno smartphone, usando 3 GB di RAM. Sembra un refuso, ma è la scheda tecnica di MiniCPM-V 4.7, il nuovo modello open di OpenBMB e ModelBest, rilasciato il 12 ottobre 2026. Il meccanismo è quello che hai già incontrato con Qwen3 30B-A3B o Gemma 4 26B-A4B — i Mixture-of-Experts, MoE — portato sul telefono: su ogni token lavorano circa 3B dei 35B totali. Qui vedi cosa significa in pratica, quali numeri reggono la promessa e cosa serve per provarlo.

Cos'è MiniCPM-V 4.7, in una tabella

MiniCPM-V 4.7 è un modello visivo-linguistico — immagini multiple e video, non solo testo — disponibile in due varianti: 35B-A3B, il primo MoE della serie, e 1B, la versione compatta per hardware ancora più modesto. I numeri dalla model card ufficiale:

Specifica	Valore
Architettura	MoE: 35B totali, ~3B attivi per token
Varianti	35B-A3B (MoE) e 1B (denso)
Modalità	testo, immagini multiple, video, OCR
Velocità dichiarata	13+ tok/s su iPhone 17 Pro Max con 3 GB di RAM
Data di rilascio	12 ottobre 2026
Quantizzazioni ufficiali	BF16, FP8, INT4, AWQ, GPTQ, GGUF
Motori	Ollama, llama.cpp, vLLM, SGLang
Piattaforme	iOS, Android, HarmonyOS; chip Rockchip, Intel, AMD, Arm in day-0

Il backbone linguistico deriva da Qwen 3.5/3.6 e il blocco visivo da SigLIP2. Fonti: model card e pagina GitHub.

MoE: 35B di capacità, 3B di lavoro

In un modello denso ogni token fa girare tutti i parametri: un denso da 35B costa come 35B a ogni passo. In un Mixture-of-Experts ogni layer contiene molti sotto-modelli — gli "esperti" — e un router ne attiva solo alcuni per token. Nel 35B-A3B ne risulta circa 3B di calcolo per token: circa 12 volte meno di un denso della stessa taglia (35/3 ≈ 11,7).

Il problema non è il calcolo, è la memoria: tutti i pesi devono restare raggiungibili, e su un telefono 35B totali non entrano interi in RAM. Le due vie classiche hanno un prezzo:

• Caricare gli esperti al volo dalla memoria di massa: funziona, ma ogni caricamento fa aspettare il token, e il modello diventa lento e a scatti.
• Bloccare un sottoinsieme di esperti per l'intero prompt: più veloce, ma escludi gli esperti che il modello avrebbe scelto, e perdi capacità.

MiniCPM-V 4.7 cerca la terza via: prevedere quali esperti serviranno e caricarli prima che servano, senza toccare il routing reale. È quello che fanno le tre tecniche più sotto, e il risultato dichiarato è 13+ token/secondo con 3 GB di RAM su iPhone 17 Pro Max — il primo MoE open-source a girare fluido on-device senza compromessi di qualità.

I numeri: dove lo metti e a che velocità

Scenario	Formato	Velocità	Memoria
iPhone 17 Pro Max	quant on-device (vendor)	13+ tok/s	~3 GB
Flagship Android	quant on-device (vendor)	17+ tok/s	non dichiarata
Desktop, GPU 24 GB	GGUF Q4_K_M	da verificare	21,8 GB
Desktop, GPU 16 GB	GGUF Q4_K_S	da verificare	18,7 GB

Tre letture. La prima: i 3 GB non sono un miracolo, è il peso effettivamente caricato in RAM con le quantizzazioni fini per livello — il modello resta di 35B, la RAM tiene la parte calda. La seconda: un Q4_K_M da 21,8 GB entra su una 3090 o 4090 da 24 GB con spazio per la KV cache; su una scheda da 16 GB ti muovi col Q4_K_S da 18,7 GB, che è tirato. La terza: sulla model card il vendor mostra un punteggio complessivo più alto di Qwen3.6 35B-A3B in meno tempo di inferenza — benchmark fatto da loro, da leggere con quella lente. Un punto di riferimento non ufficiale: un utente riporta 37,5 t/s su una RTX 2060 Super 8 GB con llama.cpp e CPU-MoE (discussione HF) — orientativo, non è un dato del vendor.

Come ci riesce: tre tecniche, una di vision

1. Lookahead Expert Scheduling (LES). Un predittore stima il routing dello strato successivo e pre-carica gli esperti probabili mentre la GPU o la NPU calcola lo strato corrente. La previsione guida solo il prefetch: il calcolo segue sempre il routing originale del modello, e un esperto mancato arriva comunque, caricato al momento.

2. Quantizzazione fine per livello. Ogni livello dei pesi degli esperti ha la propria risoluzione di quantizzazione, in base a quanto conta. Il risultato è meno memoria e meno traffico di banda — che sul telefono è spesso il collo di bottiglia, più dei FLOP.

3. Campionamento speculativo DSpark. Un piccolo modello draft (rilasciato in BF16 e GGUF) propone più token alla volta e il modello grande li verifica in un solo passo: la stessa idea della decodifica speculativa che hai già visto per i modelli desktop.

E la parte visiva: compressione mista 4x/16x dei token visivi dentro l'encoder, prima che entrino nel modello linguistico. Con 16x il modello è più veloce — buono per video e documenti lunghi; con 4x mantiene quattro volte più token per i dettagli fini — OCR, piccoli oggetti. Si sceglie a runtime, a seconda del task.

E i limiti?

• I 3 GB sono su un iPhone 17 Pro Max, un flagship recente con molta RAM. Su telefoni più vecchi o con meno memoria il modello rallenta o non entra: il vendor non dichiara requisiti minimi per il resto della gamma.
• È un modello visivo-linguistico, non omnimodale completo: immagini, video e OCR sì, voce no — quella è la linea MiniCPM-o.
• Il benchmark di efficienza è del vendor, pubblicato sulla model card: confronta modelli di altre famiglie con le condizioni di test loro. Va preso come orientamento, non come misura neutra.
• Il Q4_K_S da 18,7 GB su una GPU da 16 GB è tirato: pesi, KV cache e contesto, il margine è poco.

Come provarlo

1. Con Ollama, il percorso più veloce. È in libreria ufficiale:

ollama run openbmb/minicpm-v4.7

A questo punto chatti da terminale. Per le immagini, collegalo a Open WebUI e allega una foto nel prompt: il modello la vede. Se non parte, aggiorna Ollama alla versione più recente — i modelli multimodali richiedono il supporto mmproj.

2. Con Transformers, più controllo. Su una macchina con GPU:

pip install "transformers[torch]>=5.18.0" torchvision torchcodec

Poi carichi openbmb/MiniCPM-V-4.7-35B-A3B con torch_dtype="auto", passi downsample_mode="16x" sia a apply_chat_template che a generate, e usi i parametri di sampling raccomandati dal vendor (temperature 0.7, top_p 0.95, top_k 100). Se torchcodec non si carica con la tua versione CUDA, il workaround documentato è installare av al posto suo, oppure pinare CUDA 12.8 nell'installazione di torch.

3. In produzione locale. vLLM e SGLang sono supportati se ti serve un server con API compatibile OpenAI; per l'uso consumer, la via GGUF resta la più comoda su hardware comune.

Se vuoi il quadro completo di cosa cambia con i MoE su hardware desktop, il confronto su Kolibri e l'analisi sui modelli di decisione JEV-35B partono dagli stessi concetti su taglie più grandi. E per capire cosa succede ai pesi quando li comprimi, la guida alla quantizzazione resta il riferimento.

Fonti

• Model card MiniCPM-V 4.7 35B-A3B — Hugging Face
• Pesi GGUF ufficiali
• Annuncio ModelBest e OpenBMB — PR Newswire, 15 ottobre 2026
• GitHub OpenBMB/MiniCPM-V — rilascio 12 ottobre 2026

In sintesi

MiniCPM-V 4.7 35B-A3B è il primo MoE open-source che gira fluido su uno smartphone senza compromessi: 13+ token/secondo con 3 GB di RAM su iPhone 17 Pro Max, con circa 3B di calcolo attivo per token. Il segreto è prevedere quali esperti serviranno (LES), quantizzare fine per livello e aggiungere il campionamento speculativo DSpark. In desktop, il GGUF Q4_K_M da 21,8 GB entra su una GPU da 24 GB. I numeri on-device sono del vendor, da leggere come tali: la base è solida, ma i requisiti minimi sul resto della gamma vanno verificati sul tuo hardware.

Articolo generato con IA