Quando un modello grande non serve: scegliere per dimensione

"Più grande è, più è bravo." È la prima cosa che si pensa quando si parla di modelli, e fino a un certo punto ha senso. Ma è anche la più costosa da seguire: un modello 70B su una GPU consumer può rispondere più lentamente di un modello 8B, mentre un 8B ben scelto può bastare per il 90% dei compiti che farete davvero. La scelta giusta non parte da "qual è il modello migliore in assoluto", ma da "qual è il modello più grande che il mio hardware può far girare bene".

Questo articolo vi dà il metodo: i tre limiti che contano (memoria, velocità, latenza percepita), una tabella per abbinare dimensione e hardware, e i casi in cui il modello piccolo vince davvero.

I tre limiti che contano

La dimensione di un modello — i suoi miliardi di parametri, "B" — non è una qualità, è una richiesta. Più B, più le tre cose qui sotto peggiorano.

1. Memoria: quanto spazio occupa

La regola pratica: parametri (B) × bit per peso ÷ 8 = GB di pesi. A 16 bit (precisione completa) un 8B occupa ~16 GB. Con una quantizzazione Q4 (circa 4,8 bit, il formato GGUF più usato in locale) lo stesso modello scende a ~5,7 GB. Due conseguenze importanti:

• la quantizzazione non è un compromesso secondario, è la leva per abbassare la barra d'ingresso di un modello;
• ai pesi vanno aggiunti la cache KV (cresce con il contesto) e l'overhead del runtime: tenete un margine di 2-3 GB.

2. Velocità: i token al secondo

La generazione in locale è limitata quasi sempre dalla banda di memoria, non dalla potenza di calcolo. Ogni token generato richiede di rilettere i pesi attivi dalla memoria: più pesi attivi, meno token al secondo. Un modello 8B quantizzato Q4 su una GPU con 288 GB/s può produrre 30-40 token/s; un 70B quantizzato, con circa 12 volte i pesi, scende a 2-4 token/s sulla stessa scheda. La qualità per token aumenta, ma il tempo per frase raddoppia o triplica.

3. Latenza percepita

Un assistente che impiega 3 secondi per rispondere a una mail breve dà l'impressione di essere pigro, anche se risponde meglio. La regola pratica: sotto i ~15 token/s la generazione inizia a dare fastidio per uso interattivo. Questo è il limite che manda in pensione i modelli grandi su hardware piccolo prima della qualità.

La regola pratica VRAM

Per una quantizzazione Q4 (il punto d'ingresso consigliato):

Pesi Q4	Dimensione del modello
~3 GB	6-7B
~5,7 GB	8B
~9 GB	14-15B
~19 GB	30B
~22 GB	32B
~44 GB	70B

Aggiungete 2-3 GB per cache KV e runtime. Questa tabella vale per i modelli "densi", in cui tutti i parametri partecipano a ogni token. Per i MoE (Mixture-of-Experts) il calcolo della memoria è sullo totale, quello della velocità sugli attivi: un MoE da 30B con 3,3B attivi occupa come un 30B ma risponde come un 3,3B — è il motivo per cui esistono.

Classe per hardware

Ecco l'abbinamento concreto, con i modelli del nostro catalogo e i numeri reali.

8-12 GB (GPU entry o laptop con 16 GB di RAM condivisa). Modelli densi da 3-8B in Q4. Un 8B Q4 (~5,7 GB) sta comodo in 12 GB di VRAM con contesto generoso; sotto gli 8 GB di VRAM si scende a 3-4B, che restano perfettamente utili per riassunti, riformulazioni e prime bozze.

16 GB (RTX 4060 Ti 16GB, 4070 Ti Super). Qui si apre il vero range: 14-18B Q4 (9-12 GB di pesi) con contesto medio-alto, oppure i MoE piccoli come Qwen3 30B-A3B — ~19 GB di pesi, ma con soli 3,3B attivi per token: qualità da modello grande, velocità da modello piccolo. Su 16 GB si usa con contesto moderato (la cache KV mangia il margine).

24 GB (RTX 3090, 4090). La fascia più usata per l'IA locale. 27-32B Q4 (15-22 GB) in Q4 con contesto 32K, oppure MoE più grandi. È la prima fascia in cui un modello "serio" per lavoro reale — coding, analisi documenti, stesura lunga — risponde a velocità accettabile.

32 GB e oltre, o memoria unificata Mac. 70B Q4 (44 GB: serve 48-64 GB, quindi questa fascia con 2 GPU o memoria unificata), o MoE grandi. I Mac con memoria unificata cambiano le regole: un Mac da 32 GB di unificata porta modelli che su una GPU da 24 GB non entrano, con la velocità che dipende dalla banda (410-546 GB/s sulle schede recenti).

Quando il modello piccolo vince

Il punto di questo articolo: grande non è sinonimo di meglio per voi. Il modello piccolo vince quando:

1. Il compito è corto e ripetitivo. Riassumere una mail, rinominare file, estrarre date, tradurre frasi. Un 3-8B fa queste cose con qualità sufficiente, a 30 token/s, con un decimo della RAM.
2. La latenza fa parte dell'esperienza. Chat, assistente sempre attivo, comandi vocali. A 3 token/s l'utente non usa più l'assistente, qualunque sia la qualità delle risposte.
3. Il contesto è lungo ma il modello è MoE. Con un MoE piccolo (3B attivi) potete permettervi contesti di 32K senza che la cache KV esploda, cosa che un 7B denso non regge.
4. Volete provare tante cose. Girare un modello da 4 GB in locale è un test di 2 minuti; girarne uno da 44 GB è una serata di configurazione.

Il modello grande vince quando: il compito è di ragionamento complesso (matematica, coding multi-file, analisi legale), la latenza non importa (elaborazione batch, report notturni), o il contesto è enorme e denso.

Metodo: partite piccolo, misurate, salite

1. Partite dalla fascia hardware, non dal nome del modello. Cercate la classe che sta nei vostri GB con margine.
2. Scegliete il più piccolo della classe per il vostro compito. Provate con il Q4 del modello della classe giusta.
3. MISURATE, non indovinate. Fate 10 compiti reali (le vostre mail, i vostri documenti, i vostri prompt abituali). Se il piccolo sbaglia dove conta, salite una classe. Se non sbaglia mai, siete fermi: non spendete altro in hardware.
4. Usate la quantizzazione come leva, non come scusa. Se il modello della vostra classe non entra, scendete di un gradino di quantizzazione (Q6→Q4) prima di scendere di un gradino di dimensione.

I numeri esatti per ogni abbinamento li trovate nel pianificatore di setup: selezionate la GPU e il modello, e vi dice pesi, cache KV e velocità attesi con le formule che vi abbiamo appena spiegato.

In sintesi

La dimensione di un modello è un prezzo, non un punteggio. Il prezzo è memoria, velocità e latenza percepita. Scegliete la classe che il vostro hardware regge con margine, partite dal più piccolo, misurate sui vostri compiti, e salite solo quando misurano che serve. In quasi tutti i casi, il modello che vi serve è più piccolo di quello che avreste scelto senza questo metodo — e risponde più veloce, con una frazione della RAM.

Articolo generato con IA