Glossario IA Locale

Piccolo file di pesi addestrati (matrici di rango basso) che si aggiunge al modello base senza modificarlo: di pochi MB, si carica e si rimuove a piacere, e lo stesso modello può portare più adattatori per comportamenti diversi.

Programma che usa un modello di linguaggio per raggiungere un obiettivo in più passi: decide quali strumenti chiamare (ricerca, calcolatrice, terminale, browser), legge i risultati e decide il passo successivo, finché il compito è completato o fallito. La differenza con una chat: l'agente agisce sull'ambiente, e il suo comportamento dipende da come l'harness — il codice che lo circonda — assembla osservazioni e azioni.

Fenomeno per cui un LLM genera informazioni false o inventate con grande confidenza. Le allucinazioni sono un problema noto dei modelli linguistici: possono inventare fatti, citazioni o riferimenti inesistenti. Il RAG e il fine-tuning sono tecniche per ridurle.

La famiglia di chip Apple (M1, M2, M3, M4 e successivi) che equipaggia i Mac dal 2020. Per l'IA locale è rilevante la memoria unificata condivisa tra CPU e GPU: un Mac con 32 GB può eseguire modelli che su un PC richiederebbero una GPU dedicata.

Meccanismo per cui il modello, prima di eseguire una chiamata a un tool (invio di email, modifica di file, query a un'API), si ferma e mostra la richiesta all'utente, che può permetterla o negarla. È il modo più diretto di mantenere il controllo su cosa l'IA può fare con i tuoi dati: ogni azione potenzialmente irreversibile passa da un tuo sì esplicito.

Famiglia di schemi di attenzione (DeltaNet, Gated DeltaNet, Mamba, ecc.) che sostituisce la KV cache a crescita lineare con uno stato ricorrente di dimensione fissa, riducendo drasticamente la memoria a lungo contesto. È la tecnica alla base dei modelli a attenzione ibrida come Qwen3.8-27B.

Banda di memoria (GB/s). La velocità con cui la GPU legge i pesi del modello dalla VRAM. È il fattore che limita la velocità di generazione dei token: a parità di modello, una scheda con banda più alta produce più token al secondo. Si misura in GB al secondo ed è indicata nelle specifiche ufficiali di ogni scheda.

Quantità di dati che la RAM può leggere o scrivere al secondo (Go/s). È il fattore dominante nella velocità di decodifica su CPU: ogni token richiede di rileggere i pesi del modello, quindi un 8B in Q4 (~5 Go) su 64 Go/s fa circa 11-12 tok/s. Su GPU conta di meno, perché la VRAM ha molta più banda.

Tecnica di serving per cui le richieste in corso vengono raggruppate in batch in modo dinamico: quando una risposta finisce, il suo posto nel batch viene subito occupato dalla richiesta successiva in coda, senza aspettare che tutte le risposte del batch terminino. La GPU resta occupata quasi continuamente.

Misura standardizzata delle capacità di un modello su un insieme di compiti definiti (ragionamento, lingue, codice). I benchmark permettono di confrontare modelli tra loro, ma non sostituiscono il test sul tuo caso d'uso: il benchmark che conta è quello sulle tue domande e i tuoi documenti.

La suddivisione di un documento in piccoli blocchi di testo prima dell'indicizzazione. Ogni blocco diventa una voce cercabile nel database vettoriale: la dimensione dei blocchi è uno dei primi parametri da regolare quando i risultati del RAG non convincono.

Customer Relationship Management: software che gestisce le relazioni con i clienti — contatti, preventivi, trattative, storico. La qualità dei dati CRM determina quanto un'azienda può automatizzare vendite e follow-up.

Compute Unified Device Architecture: lo stack di programmazione GPU di NVIDIA — librerie, compilatore e runtime che fanno girare l'inferenza dei modelli sui GPU NVIDIA. È il backend di default di Ollama e llama.cpp su hardware NVIDIA: le ottimizzazioni (Flash Attention, kernel quantizzati, formati FP4) arrivano prima su CUDA che su qualsiasi altra piattaforma.

Un database specializzato che memorizza gli embedding (vettori numerici) dei documenti e risponde a ricerche per similarità: dato un embedding della domanda, restituisce i passaggi più affini. È il componente che rende possibile il RAG.

La seconda fase di inferenza: il modello genera la risposta un token alla volta. Ogni token richiede di rileggere tutti i pesi del modello e il KV cache dalla memoria, per cui la velocità (token/secondo) è determinata soprattutto dalla banda di memoria.

Architettura che applica i Transformer ai modelli di diffusione per la generazione di immagini. Al posto della convoluzione classica usa l'attenzione per trasformare rumore in immagine. La componente di generazione di Qwen-Image è un DiT da 32 layer.

Famiglia di tecniche di decodifica speculativa (dal paper EAGLE, arXiv:2401.15077): un piccolo draft model legge gli stati nascosti del modello grande e predice i token successivi da lì. Il campionamento resta lossless, come lo speculative sampling classico. I checkpoint ufficiali EAGLE (per esempio Mistral-Medium-3.5-128B-EAGLE) sono serviti nativamente da vLLM e SGLang.

Rappresentazione vettoriale di testo. Un modello trasforma parole, frasi o documenti in un array di numeri (vettore) che cattura il significato semantico. Gli embedding sono usati per la ricerca semantica, la similarità di testo e come base per i sistemi RAG.

Processo di addestramento aggiuntivo su un modello pre-addestrato, usando un dataset specifico per specializzarlo in un compito particolare. Ad esempio, si può fare il fine-tuning di Llama 7B con documenti legali per creare un modello esperto in diritto. Tecniche popolari includono LoRA e QLoRA.

Il numero massimo di token che un modello può elaborare contemporaneamente in una singola interazione. Una finestra di contesto più ampia permette al modello di leggere documenti più lunghi, conversazioni più estese e codici più complessi. I modelli moderni supportano da 8K a 128K+ token di contesto.

Tecnica che riduce gli accessi alla memoria durante l'attenzione, spezzandola in blocchi e tenendo i risultati intermedi in memoria veloce. Abbassa la richiesta di banda passante e accelera prefill e decodifica, soprattutto sui contesti lunghi. In llama.cpp si attiva con la flag -fa.

Formato floating-point a 8 bit per pesi e attivazioni dei grandi modelli (varianti E4M3 e E5M2). Metà della VRAM del FP16 a perdita di qualità minima nei pesi: i modelli recenti (es. Kolibri di Aleph Alpha) sono rilasciati direttamente in FP8. A differenza di NVFP4 o MXFP4, è supportato nativamente dalle librerie di base (cuBLAS) senza micro-scaling per blocco.

La generazione attuale di memoria video: fino a 32 Gbps per pin, con 256-bit significa 1 TB/s (RTX 5090). Per l'inferenza in locale la banda di memoria decide la velocità di generazione: i modelli Blackwell di NVIDIA la usano su tutte le schede 50, e il rincaro GDDR7 del 2026 ha spostato i prezzi street di molte schede di fascia media.

Famiglia di modelli linguistici open di Google DeepMind, costruita sulla stessa tecnologia della serie Gemini. Le taglie spaziano da 1B a 27B parametri; Gemma 3 aggiunge contesto di 128K token, oltre 140 lingue e input multimediali, mentre Gemma 4 (2026) passa alla licenza Apache 2.0.

Biblioteca tensoriale in C/C++ di cui è composto llama.cpp (dal nome GGML, il formato che l'ha resa nota). Definisce tensori, operazioni e backend — CPU, GPU, Apple Silicon — su cui corrono i modelli in inferenza locale. È il livello 'hardware' della dell'inferenza: sopra di essa stanno i runtime come Ollama e llama.cpp.

GGML Unified Format. Il formato di file standard per distribuire modelli LLM quantizzati, specialmente con llama.cpp. Supporta il salvataggio del modello, dei pesi quantizzati e dei token. È il formato predominante per l'inferenza locale su hardware consumer.

Unità di elaborazione grafica. Per l'IA locale la GPU è il componente che accelera l'inferenza: la memoria video (VRAM) determina quanto modello si può eseguire. Le GPU Apple, integrate in Apple Silicon, lavorano sulla memoria unificata invece che su VRAM separata.

Servizio cloud che esegue codice o modelli su GPU solo quando c'è richiesta, facendo partire le istanze in pochi secondi e facendo scendere il costo a zero quando non si usa. Si paga per i secondi di calcolo reali, non per un server sempre acceso.

Schema di attenzione in cui più teste di query condividono lo stesso gruppo di matrici Key e Value, riducendo il numero di teste_KV rispetto al MHA. Abbassa il costo e la velocità di accesso alla memoria durante il decode, con un compromesso di qualità minimo.

La piattaforma open source di riferimento per modelli, dataset e applicazioni di intelligenza artificiale. Il Hugging Face Hub ospia migliaia di modelli LLM open source (Llama, Mistral,Phi e molti altri) pronti per il download e l'uso locale. È anche un'organizzazione che sviluppa librerie come Transformers e Datasets.

Il processo in cui un modello addestrato viene utilizzato per generare risposte o fare previsioni su nuovi dati. Nell'IA locale, l'inferenza avviene sul tuo computer invece che su server remoti. Questo garantisce privacy e tempi di risposta costanti senza dipendere da connessioni internet.

Key-Value cache. La memoria che un modello a transformer usa per ricordare la conversazione: a ogni nuovo token aggiunge una piccola voce che cresce con la lunghezza del contesto e con il numero di utenti serviti in parallelo. È la componente della VRAM che aumenta al variare dei parametri e va calcolata per ogni utente.

Il tempo che passa tra la richiesta e la risposta del modello. In locale dipende soprattutto dalla velocità di generazione (token al secondo), che a sua volta dipende dalla dimensione dei pesi che vanno riletti a ogni token: sotto i ~15 token/s l'uso interattivo inizia a essere fastidioso, qualunque sia la qualità delle risposte.

Famiglia di modelli LLM open source di Meta. Llama 3 è la generazione corrente, con versioni da 8B e 70B parametri. Llama è uno dei modelli più usati al mondo per l'IA locale, con ampia compatibilità con Ollama, llama.cpp e la maggior parte dei framework di inferenza.

Libreria scritta in C++ per eseguire modelli LLM su CPU e GPU consumer. È il motore sottostante a molti tool di inferenza locale, incluso Ollama. Supporta la quantizzazione GGUF e può eseguire modelli di grandi dimensioni su hardware limitato sfruttando sia CPU che GPU.

Large Language Model. Un modello di intelligenza artificiale addestrato su enormi quantità di testo, capace di comprendere e generare linguaggio umano. Gli LLM come Llama, Mistral e GPT sono alla base di chatbot, assistenti virtuali e strumenti di scrittura automatica.

L'interfaccia di rete del tuo stesso computer, raggiungibile all'indirizzo 127.0.0.1 (IPv4) o ::1 (IPv6). I servizi che girano in locale — il server di Ollama, LM Studio, le web UI — ascoltano lì: le tue applicazioni si collegano al modello locale senza attraversare la rete esterna. Un firewall ben configurato che blocca l'accesso esterno a localhost è la prima linea di difesa: nessun programma può fare partire i tuoi contenuti verso l'esterno senza che una connessione uscita dalla macchina lo mostri.

Low-Rank Adaptation. Tecnica di fine-tuning efficiente che aggiorna solo una piccola frazione dei pesi del modello invece di tutti i parametri. LoRA permette di addestrare un modello 7B su una singola GPU consumer, generando file di adattamento di pochi MB invece di gigabyte.

Un attacco in cui un sistema malevolo si inserisce tra due parti che credono di comunicare direttamente. Il mittente e il destinatario pensano di parlare tra loro, ma un terzo vede (e talvolta modifica) ciò che passa. Il rimedio principale è il TLS/HTTPS con certificati validati: rende la comunicazione cifrata e autenticata, così un intruso nel mezzo non può leggere né alterare il contenuto.

Pool di memoria unico e condiviso tra CPU e GPU, in cui tutti i core leggono e scrivono la stessa memoria senza copie. È il modello dei sistemi NVIDIA basati su Grace (ad esempio i 748GB del DGX Station) e della memoria unificata Apple: il modello di LLM vive in un unico posto e non va copiato tra RAM e VRAM.

Architettura dei chip Apple Silicon in cui CPU e GPU condividono lo stesso pool di RAM. Per l'IA locale significa che tutto il modello può risiedere in quella RAM senza copiare dati tra memoria di sistema e memoria video.

Famiglia di modelli LLM open source sviluppati da Mistral, azienda francese. Mistral 7B e Mixtral sono tra i modelli più popolari per l'inferenza locale grazie al loro rapporto qualità/prestazioni. Sono disponibili su Hugging Face e supportati da Ollama, llama.cpp e altri tool.

Architettura di modello in cui il modello conta molti miliardi di parametri in totale, ma per ogni token ne attiva solo una piccola sottoinsieme (gli 'experts' selezionati dal router). Il risultato è la qualità di un modello grande con la velocità e il costo di calcolo di uno piccolo. Esempio: Qwen3 30B-A3B ha 30,5B di parametri totali ma ne usa solo 3,3B per token. Il prezzo è che tutto il peso del modello va comunque caricato in memoria.

Framework di machine learning di Apple progettato per i chip Apple Silicon. È il motore dietro molte applicazioni di IA locale su Mac: sfrutta la memoria unificata e accelera l'inferenza rispetto a una GPU discreta equivalente.

Memory map: il meccanismo con cui il sistema operativo associa un file alla memoria del programma, leggendo sulla richiesta solo le porzioni servite. È la ragione per cui i modelli in formato GGUF, con i tensor allineati, si caricano in pochi secondi: non serve copiare tutto il file in RAM.

Funzione introdotta in Qwen3 in cui il modello può generare un lungo passo di ragionamento intermedio prima di produrre la risposta finale. Migliora la qualità su problemi logici, matematici e di pianificazione, al costo di più token (e quindi più tempo e memoria) per ogni risposta. Può essere attivata o disattivata, e in Qwen3 il modello decide anche da solo se ragionare.

Modelli di IA piccoli e veloci progettati per rispondere a domande a scelta multipla con un'etichetta strutturata e una probabilità per opzione, invece di generare testo libero. Il nome viene da Jev, l'acronimo che identifica questa classe di modelli. Sono pensati per triage, routing, classificazione e moderazione a bassa latenza: dove un grande LLM genererebbe un paragrafo, un modello di decisione restituisce l'opzione e il grado di confidenza.

Un modello in cui ogni token attraversa tutti i parametri: non c'è selezione di esperti, tutta la capacità è attiva a ogni passo. Più pesante da decodare di un MoE di dimensioni totali comparabili, ma senza routing degli expert. Esempio: Qwen3.8-27B.

Modello che, dato uno stato e una domanda tipizzata (sì/no, scelta tra opzioni, punteggio), restituisce una distribuzione di probabilità sulle opzioni in un solo passaggio, senza generare token. È il "System 1" dell'IA: rapido e calibrato, usato per routing, classificazione e controllo qualità, al posto di un LLM generativo quando non serve scrivere.

Modelli linguistici di massima scala (serie GPT di OpenAI, Claude di Anthropic, ecc.) che oggi si possono usare quasi sempre solo tramite API a pagamento: i prezzi più bassi per token, ma con dipendenza dal provider e limiti di invio.

Versione di un modello adattata alla conversazione: capisce le istruzioni e risponde in modo diretto, riconoscibile dal suffisso "instruct" o "-it". Il modello base, senza questo addestramento, è un completatore puro di testo usato per il fine-tuning.

Sistema computazionale ispirato al cervello umano, composto da livelli di neuroni artificiali. Gli LLM sono basati sull'architettura Transformer, una specifica famiglia di reti neurali ottimizzata per il linguaggio. Ogni modello è definito dalla sua architettura, dai suoi parametri (pesi) e dal dataset su cui è stato addestrato.

Una tecnica in cui il modello è addestrato a prevedere più token futuri in un solo passo invece di uno. Permette di proporre più candidate senza chiamate extra e fa da base alla decodifica speculativa: il checkpoint contiene già i moduli MTP addestrati.

Microscaling FP4: formato a 4 bit punto flottante in cui ogni blocco di 32 pesi condivide un esponente di scala. È il formato nativo di gpt-oss: i pesi partono già quantizzati dalla casa, senza passo di conversione. Rispetto al Q4_K_M GGUF, MXFP4 è ottimizzato per i tensor core Blackwell e per l'hardware NVIDIA in particolare.

Non-Uniform Memory Access: architettura dei sistemi multi-socket in cui ogni CPU accede alla propria memoria locale più velocemente di quella dell'altro socket. I server di inferenza dovrebbero fissare i thread su un singolo nodo NUMA, altrimenti la prestazione scende fino al 30%.

Formato di quantizzazione a 4 bit di NVIDIA (NVIDIA Floating Point 4): rappresenta i pesi dei modelli con 4 bit più un fattore di scala per gruppo, riducendo la memoria di circa un quarto rispetto a 16 bit. È il formato nativo dei tensor core Blackwell e permette a modelli da 35B di girare su GPU da 32 GB.

Optical Character Recognition: tecnica che converte immagini e scansioni in testo selezionabile. Per i documenti non "nati digitali" è il passo che precede il modello di linguaggio: senza OCR il modello non ha testo su cui lavorare.

Strumento open source per scaricare, gestire ed eseguire modelli LLM localmente. Supporta Llama, Mistral, Phi e molti altri. Con un singolo comando puoi avviare un modello e accedervi tramite API REST locale. È uno dei modi più semplici per iniziare con l'IA locale.

Software il cui codice sorgente è pubblico e può essere studiato, modificato e redistribuito. Nell'IA, i modelli open source come Llama, Mistral e Gemma possono essere scaricati ed eseguiti localmente, consentendo controllo completo, privacy e personalizzazione.

Un modello è open-weight quando i pesi sono scaricabili e il suo uso e la sua ridistribuzione sono regolati da una licenza. A differenza dell'open source, codice, dati e metodo di addestramento non sono necessariamente pubblici. La maggior parte dei modelli moderni è open-weight.

Tecnica di gestione della memoria introdotta da vLLM: la memoria del KV cache viene allocata in piccoli blocchi (pagine) anziché in un unico spazio contiguo, come fa un sistema operativo con la memoria virtuale. Elimina frammentazione e spreco di memoria e permette a più richieste concorrenti di condividere la stessa GPU.

Tecnica specifica dei MoE: invece di dividere ogni layer, gli esperti (le sotto-reti condizionali) vengono distribuiti su GPU diverse. Un token invoca solo gli esperti attivi, quindi la VRAM si usa in modo più efficiente rispetto al parallelismo di tensori.

Tecnica di serving che divide ogni matrice (tensore) di un modello tra più GPU, così ogni card calcola una parte dello stesso layer e i risultati si ricombinano. Serve quando un singolo layer non sta in una sola GPU, ad esempio per i MoE grandi.

Valore numerico interno a un modello di IA che viene imparato durante l'addestramento. Un modello da 7B (miliardi) di parametri ha 7 miliardi di valori che determinano il suo comportamento. Più parametri generalmente significano maggiori capacità, ma richiedono più risorse computazionali.

Parameter-Efficient Fine-Tuning. Famiglia di tecniche che addestra una piccola frazione dei parametri del modello (LoRA, adattatori, prompt learnable) invece di tutti i pesi, riducendo memoria e tempo di addestramento.

Rappresentazione dei pesi con valori limitati a {−1, 0, +1}, spesso con una scala condivisa per gruppo. Porta il costo a ~1,58 bit per peso (più la scala), permettendo modelli di decine di miliardi di parametri in pochi GB, come in Bonsai-2 27B.

La prima fase di inferenza, in cui il modello elabora il prompt in ingresso (tutti i token) in una sola passata. Determina il tempo al primo token: quasi istantaneo su GPU, può richiedere alcuni secondi su CPU per prompt lunghi.

Il costo unitario con cui si paga l'inference su API e provider: un importo per milione di token in ingresso (input) e, separatamente, in uscita (output). Confrontarlo col costo al token del proprio hardware (bolletta + ammortamento) dice quando conviene possedere invece di chiamare un'API.

L'arte di scrivere istruzioni efficaci per ottenere risultati migliori da un modello linguistico. Include tecniche come il few-shot prompting (fornire esempi nel prompt), chain-of-thought (chiedere al modello di ragionare passo passo) e role prompting (definire un ruolo per il modello).

La soglia di utilizzo (token al mese, richieste, ore di lavoro) a partire dalla quale il costo mensile del calcolo in locale — ammortamento hardware + elettricità — diventa inferiore al costo dell'equivalente API cloud. Sotto la soglia vince l'API, sopra vince il locale.

Quantized Low-Rank Adaptation. Variante di LoRA che quantizza il modello base a 4 bit (NF4) prima dell'addestramento: consente di adattare modelli fino a 65B su una singola GPU da 48 GB, con adattatori di pochi MB.

Tecnica che riduce la precisione numerica di un modello per diminuire la sua dimensione e accelerare l'inferenza. Una quantizzazione a 4-bit può ridurre un modello da 40 GB a circa 10 GB mantenendo gran parte delle prestazioni. I formati GGUF e GPTQ sono standard per i modelli quantizzati.

Addestramento che simula la quantizzazione durante il training, in modo che il modello impari a lavorare con pesi a bassa precisione. A differenza della quantizzazione post-training (QAT post-addestramento, es. Q4_K_M applicato a freddo), la QAT preserva molto più qualità a bit uguale. Google ha rilasciato checkpoint QAT ufficiali per la famiglia Gemma 4 nel giugno 2026.

Retrieval Augmented Generation. Architettura che combina un modello linguistico con un sistema di ricerca documenti. Invece di affidarsi solo alla conoscenza del modello, il sistema recupera documenti rilevanti da una base dati prima di generare la risposta. Questo riduce le allucinazioni e rende il sistema aggiornabile senza riaddestramento.

La memoria principale del computer, usata dalla CPU per i programmi e — in assenza di GPU — per caricare i pesi dei modelli. Nell'inferenza su CPU, la quantità di RAM determina quali modelli si possono caricare e la sua banda di memoria determina la velocità di generazione.

Remote Direct Memory Access: permette a una macchina di leggere e scrivere direttamente nella memoria di un'altra, senza far passare i dati dai loro CPU. Su Mac Studio è usata per clusterizzare fino a 4 unità via Thunderbolt 5 e accelerare l'inferenza distribuita fino a 3 volte.

Radeon DNA: l'architettura GPU consumer di AMD. RDNA 3 (serie RX 7000) e RDNA 4 (serie RX 9000) sono le famiglie supportate ufficialmente da ROCm 7 su Linux per l'IA locale, con Ollama e llama.cpp e senza workaround: le identificativi di GPU sono gfx1100 per RDNA 3 e gfx1200/gfx1201 per RDNA 4.

La fase di un sistema RAG in cui, a partire dalla domanda dell'utente, il sistema cerca nella base vettoriale i blocchi di testo più simili e li aggiunge al prompt. La qualità del recupero è il fattore che determina la qualità della risposta finale.

Il software AMD per il calcolo GPU: l'equivalente di CUDA sull'hardware Radeon. Da ROCm 7 le schede consumer RDNA 3 e 4 (RX 7900 XTX, RX 9070 XT) sono ufficialmente supportate su Linux con Ollama e llama.cpp, senza variabili d'ambiente di workaround. Il percorso alternativo è Vulkan: meno ottimizzato ma più trasversale, ed è il percorso mantenuto anche per le schede Intel Arc.

Classe di istruzioni CPU che elabora più elementi di dati con un'operazione singola (AVX, AVX-512, NEON, AMX). È la ragione per cui le CPU moderne eseguono i modelli quantizzati a velocità usabili: la stessa operazione aritmetica si applica a 8 o 16 numeri alla volta.

La vicinanza tra i vettori di due testi in base al significato, non alla corrispondenza letterale. È il principio su cui funziona la ricerca in un database vettoriale: « freno » e « impianto frenante » non sono la stessa parola, ma i loro vettori sono vicini.

Tecnica di inferenza: un modello piccolo (draft) propone i token e il modello grande li verifica in un solo passaggio, accettandoli o correggendoli. Il risultato è più token al secondo senza cambiare qualità. Le varianti moderne: MTP (Multi-Token Prediction, integrato nei checkpoint Qwen3.8) e EAGLE (ad esempio su Mistral Medium 3.5).

La tecnologia che converte l'audio in testo (riconoscimento vocale, ASR). In locale, con modelli come Whisper Large-v3-Turbo, la trascrizione avviene sul proprio hardware: l'audio non lascia la macchina, il che la rende l'opzione di riferimento per documenti sensibili. La qualità si misura con il WER (word error rate): turbo sta intorno a 2,5% sull'inglese pulito.

Tecnica di trasmissione in cui il server invia alla chat non la risposta completa a ogni aggiornamento, ma solo il frammento nuovo (il delta) rispetto alla precedente. Il risultato arriva comunque token per token, ma il traffico di rete si riduce drasticamente — nelle implementazioni recenti fino a circa il 99% in meno — e le risposte risultano più fluide anche su connessioni lente.

Il set di istruzioni che definisce il comportamento permanente di un modello: tono, ruolo, formato di risposta, vincoli. A differenza del prompt dell'utente (una domanda singola), lo system prompt governa ogni risposta della sessione e non è mostrato al modello come richiesta.

I dati che un software invia automaticamente per riportare cosa ha fatto: versione, tipo di errore, metriche di utilizzo. La telemetria non è la stessa cosa dei contenuti: un programma può inviare telemetria senza mai toccare i tuoi prompt e i tuoi documenti. Quando leggi una policy di privacy, la domanda da fare è quali dati partono e in quali condizioni.

Un array multidimensionale di numeri: la matrice che forma ogni livello di un modello neurale (pesi, bias, embed). In un file GGUF ogni tensor ha nome, dimensioni, tipo e offset, e proprio l'allineamento e il tipo di ogni tensor determinano come il modello viene caricato e quanta memoria occupa.

La sintesi vocale: tecnologia che genera audio parlato a partire da testo. I sistemi locali come Piper sono basati su VITS/ONNX e corrono in tempo reale su CPU, senza GPU: ideali per pipeline di accesso al contenuto, comandi vocali e assistenti. Il trade-off da valutare è naturalità contro latenza e risorse occupate.

Numero di token che un sistema di inferenza genera nell'unità di tempo, in genere misurato in token al secondo. Esiste il throughput complessivo (tutte le richieste concorrenti) e la latenza di un singolo utente: due numeri che raccontano cose diverse e vanno misurati separatamente.

L'unità base di testo elaborata da un LLM. Un token è tipicamente una parola o parte di parola. In inglese, circa 1 token ≈ 4 caratteri. I modelli hanno un contesto massimo misurato in token: GPT-4 supporta 128K token, mentre Llama 3 supporta 128K. Più token = più contesto ma più risorse necessarie.

Il componente che spezza il testo in token, le unità che il modello legge davvero. Un tokenizer multilingue codifica l'italiano in meno token rispetto a uno anglofono, riducendo calcolo e consumo di contesto.

Capacità di un modello di linguaggio di chiamare funzioni esterne (API, calcolatrice, database, browser) durante la risposta: il modello produce una chiamata strutturata con i parametri giusti, il software esegue la funzione e restituisce il risultato al modello, che continua il ragionamento. È il meccanismo che trasforma una chat in un agente: gpt-oss, Qwen e Gemma lo supportano, e i motori come vLLM e Ollama lo gestiscono nativamente.

Architettura di rete neurale introdotta nel 2017 (Attention Is All You Need) che rivoluzionò il NLP. A differenza delle reti ricorrenti, i Transformer usano l'attenzione per processare l'intero input simultaneamente. Tutti gli LLM moderni (GPT, Llama, Mistral, Claude) si basano su questa architettura.

Tecnologia Apple che unisce due die M5 Max in un unico chip M5 Ultra, presentandoli al sistema come un solo processore. La memoria unificata dei due die forma un pool unico (fino a 512GB) accessibile da CPU, GPU e Neural Acceleratori.

Voiced Language Model with a Varying-rate adversarial (VITS): architettura neurale per la sintesi vocale che genera la forma d'onda direttamente dal testo senza un vocoder separato. È alla base di Piper e Kokoro-82M.

Voice Activity Detection: tecnica che individua quali porzioni di uno stream audio contengono voce, così da spezzare l'audio in segmenti rilevanti e ignorare il silenzio. Fondamentale nelle pipeline di trascrizione in tempo reale.

Video RAM. La memoria dedicata della scheda grafica (GPU). È la risorsa critica per l'inferenza locale: un modello 7B quantizzato a 4-bit richiede circa 5 GB di VRAM, un modello 13B circa 9 GB. Quando la VRAM non è sufficiente, il sistema può usare la RAM di sistema, ma con prestazioni ridotte.

API cross-platform di Khronos per la programmazione GPU, nata per il gaming ma diventata il percorso aperto per l'IA locale: Ollama e llama.cpp la supportano nativamente su Windows, Linux e macOS (tramite MoltenVK), su NVIDIA, AMD e Intel senza driver proprietari. Meno ottimizzata di CUDA per l'inferenza — di solito il 70-90% della velocità del percorso nativo — ma è l'unico stack che funziona su praticamente ogni scheda, ed è il percorso mantenuto per i GPU Intel Arc da quando IPEX-LLM è stato archiviato.

Word Error Rate (tasso di errore a livello di parola): metrica standard per confrontare le trascrizioni. Si calcola confrontando il testo prodotto con la trascrizione di riferimento: meno errori per parola, più bassa è la metrica e migliore è il modello.

Una sequenza di passaggi ripetibili che collega sistemi tra loro: arriva un evento, si eseguono delle operazioni in ordine, si produce un risultato. Nelle piattaforme di automazione il workflow si costruisce visivamente collegando nodi (email → modello IA → CRM → notifica).