llama.cpp b11716: supporto Q1_0 e Q2_0 sul backend NPU Snapdragon (Hexagon)
Strumenti e rilasciFonte:GitHub
Il build b11716 aggiunge al backend Hexagon (NPU Snapdragon) il supporto alle quantizzazioni Q1_0 e Q2_0, estendendo l'Inferenza su NPU mobile ai quantaggi più aggressivi. Rilascio pre, 17 ottobre.
Articoli correlati
Llama 3 e Llama 4: la famiglia open di Meta, quale modello gira sul vostro hardware
Dalla 3.1 8B alla 4 Scout MoE con contesto da 10M: la famiglia Llama in tabella, cosa gira su 16, 48 e 128 GB di RAM, la licenza Community tradotta per l'azienda italiana e la scelta per budget.
KV cache: perché la RAM serve più del solo modello
Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.
Qwen: il modello open con il miglior supporto multilingua
Qwen è la famiglia open con il miglior supporto per italiano e francese: generazioni, dimensioni, perché funziona bene in locale e confronto rapido con Llama.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.