| |
 |
iaLocale
|
Settimana 3
|
|
|
Ecco la settimana di iaLocale: le notizie selezionate, gli articoli pubblicati e le nuove parole del glossario.
|
|
|
|
In evidenza
Quanto costa un token: cinque strade, i conti e il punto di pareggio
Il dubbio che arriva sempre, prima di comprare una GPU o di sottoscrivere un'API: quanto costa davvero un token, e da dove lo prendo? La risposta non è una. Sono cinque strade, con costi, tetti e dipendenze molto diversi. Qui le mettiamo una accanto all'altra, coi numeri di oggi verificati sui listini ufficiali, e ti diciamo quando conviene noleggiare o possedere l'hardware invece di chiamare il frontier. Il token, l'unità di conto Ogni interazione con un modello si misura in token: pezzi di testo (parole spezzate) in entrata e in uscita. Un milione di token è circa 750.000 parole: una conversazione da qualche migliaio di parole è una manciata di migliaia di token. Chiunque ti vende…
Leggi l'articolo →
|
|
|
In evidenza
NVIDIA, AMD e Intel per l'IA locale: quale piattaforma scegliere
Il dubbio è lo stesso per quasi tutti: serve una GPU NVIDIA per l'IA locale, o ormai anche AMD e Intel reggono? La risposta corta: dipende da che modello vuoi far girare, da quanto vuoi spendere e da quanto ti va di occuparti del software. La risposta lunga sta in questa guida, che confronta le tre piattaforme sulla base di cosa è davvero disponibile oggi: stack software ufficiali, schede per fascia di VRAM e velocità reali. L'ecosistema conta quanto i numeri sulla scheda Prima di guardare i prezzi, una regola pratica: nella stessa fascia di prezzo, una GPU "mature" per l'IA batte spesso una GPU nuova ma con un software giovane. I tre ecosistemi del 2026: NVIDIA / CUDA — lo standard di…
Leggi l'articolo →
|
|
|
Ling 3.1 Flash: 560B open-weight con licenza MIT, 1M di contesto - cosa cambia per chi ha 24GB di VRAM
Ling 3.1 Flash porta 560B di parametri open-weight sotto licenza MIT con 1M di contesto. A 24GB di VRAM non ci entra, ma i quantaggi, il MoE 25B attivi e i numeri veri cambiano il calcolo.
| |
Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale
Kolibri porta 78 miliardi di parametri open-weight in un formato FP8 pensato per l'hardware locale: 3,46B attivi per token, Apache 2.0, contesto fino a 1M. Lo proviamo: costi VRAM reali e limiti attuali.
| |
Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi
Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.
| |
Mac Studio M5 Ultra: 512GB di memoria unificata sul desktop
Quattro die, 512GB di memoria unificata a 1,2 TB/s: il Mac Studio M5 Ultra porta i modelli MoE da 100 a 560B in locale. I conti sulla velocità, il confronto di costo con la DGX Station e quando il Mac è la scelta giusta.
| |
Le schede Blackwell da 16GB: 5060 Ti, 5070, 5070 Ti
Il tier da 16GB di VRAM è il centro di gravità dell'IA locale nel 2026. È la memoria sufficiente per far girare i migliori modelli densi open nei formati Q4 — la classe 27B, il nuovo punto d'equilibrio del catalogo aperto — senza sacrificare troppo contesto, e un prezzo di listino che (a seconda del mese) resta alla portata di un budget personale. La generazione Blackwell offre tre schede esattamente in mezzo a questo tier: RTX 5060 Ti, 5070 e 5070 Ti. Stessa generazione, stessa GDDR7, tre esperienze molto diverse. Oggi le confrontiamo: cosa ti porta realmente ciascuna, e dove va il tuo budget.
|
|
| |
|
Le 5 notizie più importanti |
|
|
1MiniCPM-V 4.7 35B-A3B: il primo MoE open-source fluido on-device, 13 tok/s con 3GB di RAM
OpenBMB rilascia MiniCPM-V 4.7, variante 35B-A3B: il primo MoE open-source in grado di decodificare in modo fluido su smartphone senza compromessi di qualità — 13+ token/secondo con soli 3GB di memoria su iPhone 17 Pro Max. Il segreto è lo scheduling degli esperti in anticipo (Lookahead Expert Scheduling su llama.cpp-omni) unito a quantizzazione fine per livello e campionamento speculativo. Supporto day-0 per Rockchip, Intel, AMD e Arm; Ollama, llama.cpp, vLLM e SGLang.
| |
2ProRubric: il reward hacking nel RL basato su griglie si combatte al livello del protocollo
Nel reinforcement learning basato su rubriche, l'aggregazione addittiva dei criteri permette alla politica di compensare un errore decisivo con consigli non richiesti. ProRubric (ByteDance) raggruppa i criteri in dimensioni di protocollo che contano solo se tutti i criteri tengono e nessuna clausola di fallimento scatta: su consultazioni cliniche l'appropriatezza sale di 10,8 punti senza perdita di copertura, con i criteri invariati parola per parola.
| |
3ClawLoop: agenti che migliorano da soli senza modello-teacher esterno
ClawLoop (LongCat) forma agenti LLM in sandbox con un ciclo autosostenente in tre fasi — sintesi dei task, addestramento SFT/RL, diagnosi dei rollout — che restituisce feedback alla sintesi dei task successivi, eliminando il modello esterno che normalmente sintetizza task e traiettorie. Con Qwen3.6-27B migliora su SkillsBench, Claw-Eval-Live e ClawGym-Bench; i task raffinati si trasferiscono con guadagni anche a Qwen3.5-4B e 9B.
| |
4ARDY di NVIDIA: moto umanoide interattivo in tempo reale con diffusione autoregressiva
ARDY è un modello di diffusione autoregressiva da 326M di parametri per la generazione di moto umanoide interattivo in tempo reale: prompt testuali online, vincoli cinematici flessibili (traiettorie, keyframe, pose sparse) e sequenze fino a 8 secondi. Il checkpoint Core-RP-20FPS-Horizon40, addestrato su Bones Rigplay 1, è su Hugging Face dal 7 ottobre e ottimizzato per GPU NVIDIA Ampere, Hopper e Blackwell.
| |
5LLMspeed: prova quanto sarà veloce il tuo modello locale prima di acquistarlo
LLMspeed è un tool open source (showcase Hacker News) che stima la velocità di inferenza di oltre 250 combinazioni modello/hardware: RTX 3060 a H100, Mac Studio M5 Ultra, CPU-only. Le stime misurate vengono da benchmark della community (r/LocalLLaMA, localscore.ai), le altre sono derivate da configurazioni simili o proiettate dalle specifiche. Utile per decidere l'hardware prima di spendere.
|
|
Questa settimana ne sono state pubblicate 32: leggi tutte le notizie.
|
|
|
|
|
|
|
L’intelligenza artificiale locale, in italiano. · ialocale.ch
Ricevi questa email in italiano perché hai scelto l’italiano per la newsletter. Puoi cambiare lingua o disiscriverti a ogni momento dal pannello della tua iscrizione.
Ricevi questa email perché ti sei iscritto alla newsletter di iaLocale.
|
|
