gpt-oss: il modello di ragionamento open di OpenAI

OpenAI ha rilasciato i suoi primi modelli linguistici open-weight con ragionamento: gpt-oss-20b e gpt-oss-120b. Il primo sta in 16GB di memoria e si comporta da modello da 24GB. Ecco cosa significa in pratica.

Cos'è gpt-oss e perché conta

GPT-OSS è la famiglia di modelli open-weight di OpenAI, rilasciata con licenza Apache 2.0: pesi scaricabili, addestrabili, e senza vincoli d'uso. È il ritorno di OpenAI sul fronte open dopo GPT-2, e arriva con una caratteristica rara per la fascia consumer: è un modello di ragionamento, addestrato con lo stesso approccio (SFT + RL ad alto compute) usato per i modelli proprietari come o4-mini.

La versione che interessa chi ha hardware consumer è gpt-oss-20b: 21B di parametri totali, ma solo 3,6B attivi per token.

MoE: 21B in totale, 3,6B in azione

gpt-oss è un Mixture-of-Experts. In pratica il modello ha 32 "esperti" (gruppi di parametri) e per ogni token ne attiva solo 4: sono quelli 3,6B che lavorano davvero. Il risultato è doppio:

• Meno memoria attiva: la velocità di generazione dipende dai parametri attivi, non da quelli totali. 3,6B attivi vogliono dire velocità da modello piccolo.
• Più capacità: i 21B totali restano a disposizione, quindi la qualità del ragionamento resta da modello grande.

Questa è la stessa architettura che usano Mixtral e la famiglia Qwen3 MoE: la differenza qui è che i pesi sono già in MXFP4, il che cambia parecchio il discorso sull'hardware.

MXFP4: perché non devi quantizzare

MXFP4 è un formato a 4 bit flottanti con scala di blocco: ogni gruppo di 32 pesi ha il proprio fattore di scala. È diverso dalle quantizzazioni intere GGUF (Q4_K_M e simili) ed è il formato in cui OpenAI ha addestrato direttamente il modello, non una conversione a posteriori.

Tre conseguenze pratiche:

1. I pesi "nativi" pesano già ~13GB: nessun passo di quantizzazione, nessuna perdita extra. Le build GGUF della community (unsloth, ggml-org) partono da qui, con taglie da 11,5 a 13,8GB a seconda del livello scelto.
2. La quantizzazione non degrada quanto un Q4 classico: il modello è stato post-addestrato già in MXFP4, quindi i numeri di benchmark che leggi nella model card sono quelli che ottieni tu.
3. I motori di inference lo supportano nativamente: vLLM gira sul formato originale senza conversione; Ollama e llama.cpp usano le build GGUF.

Quanto gira su 16GB di VRAM

Il file del modello sta tra gli 11,5 e i 13GB a seconda della build. Su una GPU da 16GB (4060 Ti, 5060 Ti 16GB, 5070 Ti 16GB, RX 9070 XT) hai 3-4GB liberi per la KV cache: contesto da 8K a 32K a seconda di quanto spingi. La velocità dipende dalla banda di memoria, come sempre: con 3,6B attivi anche una scheda da 448 GB/s gestisce il decode senza soffrire.

Senza GPU? Funziona, ma il decode va in RAM system: contami una decina di token al secondo su un dual-channel moderno. Sufficente per uso interattivo, no per serving. Su Apple Silicon la RAM unificata (16GB in su) è il setup naturale: i pesi in memoria, niente swap.

Come lo metti in piedi

Con Ollama, due comandi:

ollama pull gpt-oss:20b
ollama run gpt-oss:20b

Oppure in chat via LM Studio o Open WebUI puntando al server Ollama. Se devi servire più utenti, vLLM legge il formato MXFP4 originale direttamente dal repository Hugging Face.

Il modello supporta il reasoning "a sforzo regolabile": in chat puoi chiedere più o meno ragionamento, e il modello adatta la lunghezza del ragionamento al task. Funziona bene anche con il tool calling e le structured output.

gpt-oss-20b vs Qwen3.8-27B vs Gemma 4 26B

Se hai 24GB, il confronto che conta è questo:

	gpt-oss-20b	Qwen3.8-27B	Gemma 4 26B A4B
Architettura	MoE (32 esperti, top-4)	Dense	MoE (128 esperti, top-8)
Parametri attivi	3,6B	27,8B	3,8B
VRAM in Q4	~13GB	~16GB	~17GB
Contutto nativo	128K	262K	256K
Input	Testo	Testo + immagini + video	Testo + immagini
Licenza	Apache 2.0	Apache 2.0	Apache 2.0

Le scelte sono diverse: Qwen3.8-27B è il dense "di testa", con contesto più lungo e multimodalità; Gemma 4 26B A4B è il MoE con il contesto più generoso e supporto a 140+ lingue; gpt-oss-20b è quello che sta in 16GB con la qualità di ragionamento più alta della fascia. Se il tuo obiettivo è ragionamento su hardware da 16GB, al momento è il riferimento.

E i limiti?

Onestà: il training è su dati "a maggioranza inglese". L'italiano e il francese si capiscono e si scrivono, ma la qualità su queste lingue resta dietro modelli addestrati con corpus multilingue più spessi, come Qwen o Gemma. Se la lingua è il tuo criterio principale, prova entrambi prima di scegliere.

Altro limite pratico: 16GB significano contesto limitato nella pratica. I 128K nativi sono teoricamente possibili, ma con i pesi che occupano 13GB la KV cache ti costringe a stare sui 16-32K. Se ti servono contesti lunghi su corpus grandi, servono 24GB.

Infine, gpt-oss-120b (117B totali, 5,1B attivi) serve su 80GB: H100, A100, o un Mac Studio M3 Ultra da 512GB. È un altro mondo, ma esiste nella stessa famiglia.

Articoli correlati

• Qwen3.8-27B vs Gemma 4 26B A4B: la nuova frontiera a 24GB
• Quantizzazione: ottenere di più dallo stesso hardware
• Hardware per IA locale: quale GPU scegliere

Fonti

• Introducing gpt-oss — OpenAI
• gpt-oss-120b & gpt-oss-20b Model Card — arXiv
• openai/gpt-oss-20b — Hugging Face
• unsloth/gpt-oss-20b-GGUF — Hugging Face

In sintesi

gpt-oss-20b è il primo modello di ragionamento open di OpenAI che sta in 16GB: 21B totali con 3,6B attivi, pesi nativi in MXFP4, contesto fino a 128K e licenza Apache 2.0. La quantizzazione non è un passo da fare: il modello arriva già nel formato a 4 bit con cui è stato addestrato, quindi i numeri della model card sono quelli reali. Lo metti in piedi con Ollama in due comandi. Se il tuo hardware è da 16GB e vuoi ragionamento, è il modello da provare per primo; se il criterio è la lingua o la multimodalità, Qwen3.8 e Gemma 4 restano alternative serie.

Articolo generato con IA