Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello

Hai deciso di far girare un modello linguistico sul tuo computer. Questa guida ti porta da zero al primo modello che risponde: capire cosa ti serve, installare lo strumento, scegliere il modello giusto per la tua macchina, e verificarlo passo passo. Se segui le istruzioni alla lettera, alla fine hai una conversazione in corso, non una lista di nomi da cercare.

Prima di installare: cosa ti serve davvero

Non ti serve un computer nuovo. Ti serve sapere tre cose della tua macchina:

1. Quanta memoria hai, e di che tipo. Su un PC la distinzione è tra la RAM del sistema e la VRAM della GPU (la memoria dedicata della scheda video). Un modello gira veloce sulla VRAM, lento sulla RAM. Se non hai una GPU dedicata, il modello gira comunque sulla CPU — più lento, ma per i modelli piccoli è utilizzabile.
2. Quanti GB sono "comodi". Un modello da 8 miliardi di parametri, quantizzato a 4 bit, pesa circa 5 GB: gli servono 6–8 GB di memoria libera. Un modello da 14B ne vuole 9–11. Un 70B ne vuole 40+. La regola pratica: i GB di memoria che hai (VRAM se hai una GPU) meno 2–3 di margine, divisi per 0,6, indicano i miliardi di parametri che ti sta comodo. Con 8 GB di VRAM: ~10B. Con 16 GB: ~22B. Con 32: ~50B.
3. Quanto spazio sul disco. Un modello da 5 GB è un download da 5 GB: ne avrai tre o quattro, quindi lascia 50 GB liberi.

Il minimo realistico oggi: 16 GB di RAM (o 8 GB di VRAM) su PC, oppure un Mac con 16 GB di memoria unificata. Con quella configurazione i modelli da 7–14B girano a velocità utilizzabile — un paragrafo risponde in un paio di secondi.

Installare Ollama

Partiamo da Ollama, lo strumento più semplice: un comando installa, un comando scarica e avvia il modello, e porta con sé un'interfaccia API che le altre applicazioni possono chiamare.

Su macOS: apri il Terminale e incolla:

brew install ollama

Se non hai Homebrew, scarica il pacchetto da ollama.com/download.

Su Linux (Ubuntu, Debian e simili):

curl -fsSL https://ollama.com/install.sh | sh

Su Windows: scarica l'installer dallo stesso link e avvialo; Ollama parte in background con un'icona nella barra delle applicazioni.

Verifica che funzioni. In un terminale (su Windows: PowerShell):

ollama --version

Devi vedere un numero di versione. Se comandi non riconosciuto, apri di nuovo il terminale (o riavvia la macchina): il sistema ha aggiornato la lista dei comandi disponibili.

Scaricare e avviare il primo modello

La libreria di Ollama è pubblica: qualsiasi modello può essere scaricato con un nome. Per la prima volta scegli uno piccolo e veloce: llama3.1:8b (~4,9 GB) o qwen3:8b (stessa taglia, spesso migliore sui testi non inglesi).

ollama run llama3.1:8b

Al primo avvio Ollama scarica il modello (vedrai la barra di avanzamento, dura da pochi minuti a una decina a seconda della connessione) e poi apre una conversazione. Scrivi un messaggio, premi Invio, e dopo un attimo il modello inizia a scrivere. Quando la risposta arriva, funziona: hai il tuo primo LLM locale. Per uscire dalla conversazione, /bye.

Alcuni comandi che torneranno utili:

• ollama list — i modelli già scaricati (con dimensione su disco)
• ollama rm llama3.1:8b — rimuo
• ollama run qwen3:8b — avvio un altro modello

Scegliere il modello per la tua macchina

La tentazione è partire dal modello più grande. L'errore è che un modello che non entra nella tua memoria diventa inutilizzabile: rallenta di un ordine di grandezza (da 30 token al secondo a 2–3) e alla fine lo chiudi. La tabella sotto dice cosa sta comodo dove:

Memoria disponibile	Modello comodo (4-bit)	Cosa ne ottieni
8 GB (VRAM)	7–8B	chat, riassunti, email: veloce
16 GB (VRAM)	12–14B	qualità visibilmente migliore
24 GB (VRAM, es. RTX 4090)	14–32B	molto buono, contesto lungo
32 GB (es. Mac con unificata)	24–35B	tra i migliori che puoi far girare
64 GB (Mac)	fino a 70B (lento)	qualità da modello grande

I numeri di velocità che puoi aspettarti con un modello da 8B quantizzato, misurati dalla community: ~128 token al secondo su RTX 4090 (un paragrafo in due secondi), ~120 su una 3090 usata, ~74 su un Mac M4 Max, ~21 su un Mac mini M4, 6–10 su una CPU normale. Sotto i 10 token al secondo la conversazione diventa noiosa: è il segnale che il modello è troppo grande per la tua macchina.

Come leggere il grafico: la velocità non dipende da "quanto è potente il computer" in senso generico, dipende dal bandwidth della memoria — quanti GB al secondo la memoria può sfornare. Per questo una GPU con 8 GB ma bandwidth alto batte una macchina con 32 GB e bus lento, e per questo i Mac (bandwidth 120–800 GB/s) tengono modelli grandi che su una GPU consumer sarebbero fuori portata.

Verificare che il modello stia dove deve

Se la risposta arriva lentissima, il sospetto è che Ollama stia usando la CPU invece della GPU. Controlla:

nvidia-smi

(Su Mac: Activity Monitor, voce GPU.) Durante la generazione dovresti vedere occupazione GPU e memoria video in uso. Se non c'è niente sulla GPU: o il modello non c'entra nella VRAM (scendi di taglia), o Ollama non ha visto la scheda (verifica driver: su Windows/NVIDIA il driver è aggiornato, su Linux nvidia-smi risponde).

Collegarlo a un'interfaccia

A questo punto il modello risponde nel terminale. Per un uso quotidiano ci sono due passi avanti, entrambi opzionali:

1. Open WebUI — un'interfaccia web che assomiglia a ChatGPT, con la cronologia salvata. Si monta in un minuto con Docker:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

poi apri http://localhost:3000. Se vuoi capire meglio come si costruisce un'interfaccia attorno al modello, leggi Open WebUI: l'interfaccia per la tua IA locale. 2. L'API locale — Ollama ascolta su http://localhost:11434 e parla il protocollo delle API OpenAI. Qualsiasi script o applicazione che sa chiamare OpenAI può chiamare il tuo modello cambiando solo l'indirizzo: è così che i modelli locali entrano nei workflow delle aziende.

I problemi tipici, e come si risolvono

• Il download si blocca. Le reti aziendali e alcuni proxy tagliano i download da Hugging Face. Prova da una rete diversa, o usa LM Studio (il suo downloader ha un'altra rotta).
• La risposta è lentissima. Il modello è più grande della tua VRAM: scendi di taglia (8B invece di 14B) o di quantizzazione (4-bit invece di 8). Come funzionano le quantizzazioni e quanto perdono in qualità è tutto in Quantizzazione: ottenere di più dallo stesso hardware.
• Le risposte in italiano sono deboli. Cambia modello: Qwen e Gemma sono visibilmente meglio dei Llama sulla lingua italiana. Se il tuo caso è la qualità nella tua lingua, parta dal confronto in Italiano nei modelli locali: cosa aspettarsi.
• La GPU non viene vista. Driver: su NVIDIA installa il driver corrente dal sito del produttore; su Mac tutto è incluso. Verifica con nvidia-smi (dovresti vedere la scheda) e apri di nuovo Ollama.

I limiti, detti chiari

Un modello locale da 8–14B non è un frontier: nei ragionamenti lunghi, nel codice complesso e nei lavori in sequenza si vede la differenza. E la velocità dipende dalla tua memoria, non da una licenza che si paga. Il punto di forza non è la potenza, è l'altro: nessun dato che lascia la macchina, nessun tetto mensile, nessuna dipendenza da un provider, e un costo che, una volta comprato l'hardware, è solo la corrente. Se poi vuoi misurare quanto ti costa davvero rispetto a un'API, i conti sono già fatti in Costi: locale vs API, fatto coi numeri.

Fonti

• Ollama — installazione ufficiale
• Benchmark fisico Llama 3.1 8B Q4 su sei configurazioni (128 tok/s su RTX 4090)
• VRAM richiesta per modello e quantizzazione
• Velocità e memoria sui Mac Apple Silicon (bandwidth e token/s)
• llama.cpp — megathread benchmark Apple Silicon

Articolo generato con IA