Glossario IA Locale
Termini e definizioni dell'intelligenza artificiale locale, modelli open source e computing.
3 termini in Ottimizzazione
Tecnica che riduce gli accessi alla memoria durante l'attenzione, spezzandola in blocchi e tenendo i risultati intermedi in memoria veloce. Abbassa la richiesta di banda passante e accelera prefill e decodifica, soprattutto sui contesti lunghi. In llama.cpp si attiva con la flag -fa.
Il costo unitario con cui si paga l'inference su API e provider: un importo per milione di token in ingresso (input) e, separatamente, in uscita (output). Confrontarlo col costo al token del proprio hardware (bolletta + ammortamento) dice quando conviene possedere invece di chiamare un'API.
Tecnica che riduce la precisione numerica di un modello per diminuire la sua dimensione e accelerare l'inferenza. Una quantizzazione a 4-bit può ridurre un modello da 40 GB a circa 10 GB mantenendo gran parte delle prestazioni. I formati GGUF e GPTQ sono standard per i modelli quantizzati.