Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
Percorsi di lettura
Parti da qui
Il percorso in ordine per chi si avvicina all'IA locale: dai concetti base all'installazione e al primo modello.
Ottimizza le prestazioni
Scegliere l'hardware giusto e strappare il massimo da quello che hai già: CPU o GPU, Mac, Raspberry Pi e serving veloce.
Dati e privacy
Cosa parte davvero in rete con l'IA locale: i dati, la sicurezza, la conformità e il controllo che resta nella tua mano.
Scegliere hardware e modello
Come scegliere l'hardware giusto e il modello adatto al tuo uso: VRAM, quantizzazione, GPU o CPU e velocità di risposta.
11 articoli
MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM
MiniCPM-V 4.7 (35B totali, ~3B attivi, rilasciato il 12 ottobre 2026 da OpenBMB e ModelBest) è il primo MoE open della serie, visivo-linguistico: immagini multiple, video, OCR. 13+ tok/s con 3 GB di RAM su iPhone 17 Pro Max, 17+ su Android. Quantizzazioni ufficiali BF16, FP8, INT4, AWQ, GPTQ, GGUF; motore Ollama, llama.cpp, vLLM, SGLang. Le tre tecniche: Lookahead Expert Scheduling, quantizzazione fine per livello, campionamento speculativo DSpark.
Ling 3.1 Flash: 560B open-weight con licenza MIT, 1M di contesto - cosa cambia per chi ha 24GB di VRAM
Ling 3.1 Flash di inclusionAI: MoE ibrido 560B totali / 25B attivi, contesto nativo 1M token, checkpoint FP8, licenza MIT. Cosa significa concretamente per chi ha 24GB di VRAM: quantaggi, parallelismo e costi API.
Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale
Kolibri (78.1B/3.46B, Apache 2.0, FP8) di Aleph Alpha è il MoE europeo open-weight: reasoning, tool calling e contesto fino a 1M token. In FP8 pesa ~78GB di VRAM: gira su RTX 5090 32GB + RAM condivisa o su Mac a memoria unificata; per l'adozione pratica mancano ancora l'architettura kolibri1 in llama.cpp e i build di Ollama/LM Studio.
gpt-oss: il modello di ragionamento open di OpenAI
21B di parametri totali ma solo 3,6B attivi, pesi nativi in MXFP4 e 128K di contesto: il primo modello di ragionamento open di OpenAI sta in 16GB. Cosa significa in pratica.
Modelli di immagini in locale: da SDXL a Qwen-Image
Dai 2,6B parametri di SDXL ai 7B di Qwen-Image 2.1: come funzionano i diffusion model, quanti GB di VRAM servono davvero e quale modello scegliere per il tuo hardware.
L'italiano nei modelli locali: cosa aspettarsi
Quanti modelli locali reggono davvero l'italiano? I numeri dei vendor, dove sbagliano, e il metodo in mezz'ora per misurarli tu stesso.
GGUF: il formato che fa stare i modelli sul tuo hardware
GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.
Quantizzazione: ottenere di più dallo stesso hardware
La quantizzazione riduce la precisione dei pesi (da FP16 a 4-8 bit) per far entrare i modelli in meno VRAM e generare più token al secondo. Livelli, dimensioni reali di Qwen2.5 14B, regola di scelta da Q4_K_M e limiti (codice, ragionamento, lingue diverse dall'inglese).
Qwen-Image 2.1: generare e modificare immagini in locale
Qwen-Image 2.1 unifica generazione da testo, editing e trasparenza RGBA in un modello open da 7B (DiT da 32 layer). Setup locale con diffusers, supporto nativo in ComfyUI, esigenze di VRAM (~14GB in bfloat16) e casi d'uso (sticker, foto di prodotto, workflow di design).
Quando un modello grande non serve: scegliere per dimensione
Il metodo per scegliere la dimensione del modello in base all'hardware: i tre limiti (memoria, velocità, latenza percepita), la tabella VRAM per quantizzazione Q4, le classi per hardware e i casi in cui il modello piccolo vince.
Come leggere le specifiche di un modello: famiglia, dimensione, contesto
Guida alla lettura delle specifiche di un modello: famiglia, dimensione totale e attiva, finestra di contesto, quantizzazione, benchmark e licenza, con un esempio su DeepSeek V4.1 Flash.