Glossario IA Locale

Quantità di dati che la RAM può leggere o scrivere al secondo (Go/s). È il fattore dominante nella velocità di decodifica su CPU: ogni token richiede di rileggere i pesi del modello, quindi un 8B in Q4 (~5 Go) su 64 Go/s fa circa 11-12 tok/s. Su GPU conta di meno, perché la VRAM ha molta più banda.

Tecnica di serving per cui le richieste in corso vengono raggruppate in batch in modo dinamico: quando una risposta finisce, il suo posto nel batch viene subito occupato dalla richiesta successiva in coda, senza aspettare che tutte le risposte del batch terminino. La GPU resta occupata quasi continuamente.

Misura standardizzata delle capacità di un modello su un insieme di compiti definiti (ragionamento, lingue, codice). I benchmark permettono di confrontare modelli tra loro, ma non sostituiscono il test sul tuo caso d'uso: il benchmark che conta è quello sulle tue domande e i tuoi documenti.

Il tempo che passa tra la richiesta e la risposta del modello. In locale dipende soprattutto dalla velocità di generazione (token al secondo), che a sua volta dipende dalla dimensione dei pesi che vanno riletti a ogni token: sotto i ~15 token/s l'uso interattivo inizia a essere fastidioso, qualunque sia la qualità delle risposte.

Una tecnica in cui il modello è addestrato a prevedere più token futuri in un solo passo invece di uno. Permette di proporre più candidate senza chiamate extra e fa da base alla decodifica speculativa: il checkpoint contiene già i moduli MTP addestrati.

Tecnica di gestione della memoria introdotta da vLLM: la memoria del KV cache viene allocata in piccoli blocchi (pagine) anziché in un unico spazio contiguo, come fa un sistema operativo con la memoria virtuale. Elimina frammentazione e spreco di memoria e permette a più richieste concorrenti di condividere la stessa GPU.

Tecnica di inferenza: un modello piccolo (draft) propone i token e il modello grande li verifica in un solo passaggio, accettandoli o correggendoli. Il risultato è più token al secondo senza cambiare qualità. Le varianti moderne: MTP (Multi-Token Prediction, integrato nei checkpoint Qwen3.8) e EAGLE (ad esempio su Mistral Medium 3.5).

Tecnica di trasmissione in cui il server invia alla chat non la risposta completa a ogni aggiornamento, ma solo il frammento nuovo (il delta) rispetto alla precedente. Il risultato arriva comunque token per token, ma il traffico di rete si riduce drasticamente — nelle implementazioni recenti fino a circa il 99% in meno — e le risposte risultano più fluide anche su connessioni lente.

Numero di token che un sistema di inferenza genera nell'unità di tempo, in genere misurato in token al secondo. Esiste il throughput complessivo (tutte le richieste concorrenti) e la latenza di un singolo utente: due numeri che raccontano cose diverse e vanno misurati separatamente.