Apple integra l'MLX 0.20 con supporto nativo per i modelli quantizzati
On-device e edgeArticoli correlati
GGUF: il formato che fa stare i modelli sul tuo hardware
Apriamo la scatola: cosa c'è davvero dentro un file .gguf, perché è un solo file, come si legge il nome e come scegliere la dimensione per la tua VRAM, con i numeri reali di un modello 8B.
Quantizzazione: ottenere di più dallo stesso hardware
Cos'è la quantizzazione, i livelli Q4/Q5/Q8 e come scegliere quello giusto per la tua VRAM, con un esempio concreto su Qwen2.5 14B.
Mac Studio M5 Ultra: guida pratica a 512GB - modelli che ci stanno e setup GGUF
Il Mac Studio da 512GB fa stare un MoE da 560B a 4 bit con contesto ampio. In questa guida: la regola dei 4 bit, il setup GGUF in tre vie, il collo di bottiglia reale (la KV cache) e il confronto costi Mac vs API coi numeri sul tavolo.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.