Il modello locale risponde a raffica? La colpa è spesso del chat template
Strumenti e rilasciArticoli correlati
GGUF: il formato che fa stare i modelli sul tuo hardware
Apriamo la scatola: cosa c'è davvero dentro un file .gguf, perché è un solo file, come si legge il nome e come scegliere la dimensione per la tua VRAM, con i numeri reali di un modello 8B.
Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi
Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.
Costi: locale vs API, fatto coi numeri
Quanto costa davvero il locale rispetto a una API cloud? Prezzi per token verificati, ammortamento GPU, elettricità e il punto di pareggio, calcolato con i numeri.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.