Glossario IA Locale
Termini e definizioni dell'intelligenza artificiale locale, modelli open source e computing.
7 termini in Tecniche
La suddivisione di un documento in piccoli blocchi di testo prima dell'indicizzazione. Ogni blocco diventa una voce cercabile nel database vettoriale: la dimensione dei blocchi è uno dei primi parametri da regolare quando i risultati del RAG non convincono.
Famiglia di tecniche di decodifica speculativa (dal paper EAGLE, arXiv:2401.15077): un piccolo draft model legge gli stati nascosti del modello grande e predice i token successivi da lì. Il campionamento resta lossless, come lo speculative sampling classico. I checkpoint ufficiali EAGLE (per esempio Mistral-Medium-3.5-128B-EAGLE) sono serviti nativamente da vLLM e SGLang.
L'arte di scrivere istruzioni efficaci per ottenere risultati migliori da un modello linguistico. Include tecniche come il few-shot prompting (fornire esempi nel prompt), chain-of-thought (chiedere al modello di ragionare passo passo) e role prompting (definire un ruolo per il modello).
Addestramento che simula la quantizzazione durante il training, in modo che il modello impari a lavorare con pesi a bassa precisione. A differenza della quantizzazione post-training (QAT post-addestramento, es. Q4_K_M applicato a freddo), la QAT preserva molto più qualità a bit uguale. Google ha rilasciato checkpoint QAT ufficiali per la famiglia Gemma 4 nel giugno 2026.
La vicinanza tra i vettori di due testi in base al significato, non alla corrispondenza letterale. È il principio su cui funziona la ricerca in un database vettoriale: « freno » e « impianto frenante » non sono la stessa parola, ma i loro vettori sono vicini.
Il set di istruzioni che definisce il comportamento permanente di un modello: tono, ruolo, formato di risposta, vincoli. A differenza del prompt dell'utente (una domanda singola), lo system prompt governa ogni risposta della sessione e non è mostrato al modello come richiesta.
Voice Activity Detection: tecnica che individua quali porzioni di uno stream audio contengono voce, così da spezzare l'audio in segmenti rilevanti e ignorare il silenzio. Fondamentale nelle pipeline di trascrizione in tempo reale.