Glossario IA Locale

Un database specializzato che memorizza gli embedding (vettori numerici) dei documenti e risponde a ricerche per similarità: dato un embedding della domanda, restituisce i passaggi più affini. È il componente che rende possibile il RAG.

Rappresentazione vettoriale di testo. Un modello trasforma parole, frasi o documenti in un array di numeri (vettore) che cattura il significato semantico. Gli embedding sono usati per la ricerca semantica, la similarità di testo e come base per i sistemi RAG.

Il numero massimo di token che un modello può elaborare contemporaneamente in una singola interazione. Una finestra di contesto più ampia permette al modello di leggere documenti più lunghi, conversazioni più estese e codici più complessi. I modelli moderni supportano da 8K a 128K+ token di contesto.

Servizio cloud che esegue codice o modelli su GPU solo quando c'è richiesta, facendo partire le istanze in pochi secondi e facendo scendere il costo a zero quando non si usa. Si paga per i secondi di calcolo reali, non per un server sempre acceso.

L'interfaccia di rete del tuo stesso computer, raggiungibile all'indirizzo 127.0.0.1 (IPv4) o ::1 (IPv6). I servizi che girano in locale — il server di Ollama, LM Studio, le web UI — ascoltano lì: le tue applicazioni si collegano al modello locale senza attraversare la rete esterna. Un firewall ben configurato che blocca l'accesso esterno a localhost è la prima linea di difesa: nessun programma può fare partire i tuoi contenuti verso l'esterno senza che una connessione uscita dalla macchina lo mostri.

Memory map: il meccanismo con cui il sistema operativo associa un file alla memoria del programma, leggendo sulla richiesta solo le porzioni servite. È la ragione per cui i modelli in formato GGUF, con i tensor allineati, si caricano in pochi secondi: non serve copiare tutto il file in RAM.

Optical Character Recognition: tecnica che converte immagini e scansioni in testo selezionabile. Per i documenti non "nati digitali" è il passo che precede il modello di linguaggio: senza OCR il modello non ha testo su cui lavorare.

Remote Direct Memory Access: permette a una macchina di leggere e scrivere direttamente nella memoria di un'altra, senza far passare i dati dai loro CPU. Su Mac Studio è usata per clusterizzare fino a 4 unità via Thunderbolt 5 e accelerare l'inferenza distribuita fino a 3 volte.

Il software AMD per il calcolo GPU: l'equivalente di CUDA sull'hardware Radeon. Da ROCm 7 le schede consumer RDNA 3 e 4 (RX 7900 XTX, RX 9070 XT) sono ufficialmente supportate su Linux con Ollama e llama.cpp, senza variabili d'ambiente di workaround. Il percorso alternativo è Vulkan: meno ottimizzato ma più trasversale, ed è il percorso mantenuto anche per le schede Intel Arc.

La tecnologia che converte l'audio in testo (riconoscimento vocale, ASR). In locale, con modelli come Whisper Large-v3-Turbo, la trascrizione avviene sul proprio hardware: l'audio non lascia la macchina, il che la rende l'opzione di riferimento per documenti sensibili. La qualità si misura con il WER (word error rate): turbo sta intorno a 2,5% sull'inglese pulito.

La sintesi vocale: tecnologia che genera audio parlato a partire da testo. I sistemi locali come Piper sono basati su VITS/ONNX e corrono in tempo reale su CPU, senza GPU: ideali per pipeline di accesso al contenuto, comandi vocali e assistenti. Il trade-off da valutare è naturalità contro latenza e risorse occupate.

L'unità base di testo elaborata da un LLM. Un token è tipicamente una parola o parte di parola. In inglese, circa 1 token ≈ 4 caratteri. I modelli hanno un contesto massimo misurato in token: GPT-4 supporta 128K token, mentre Llama 3 supporta 128K. Più token = più contesto ma più risorse necessarie.

Il componente che spezza il testo in token, le unità che il modello legge davvero. Un tokenizer multilingue codifica l'italiano in meno token rispetto a uno anglofono, riducendo calcolo e consumo di contesto.