Tools, frameworks, and models for local AI
21 resources found for "GPU"
La Radeon con la maggiore capacità consumer: 24GB GDDR6 a 960 GB/s (bus 384-bit). Per l'IA locale la capacità batte la novità: mentre le schede da 16GB non caricano i modelli 27B, qui Qwen3.8-27B e i 32B in Q4 ci stanno con contesto ampio. 960 GB/s è il 96% della RTX 4090. ROCm ufficiale (gfx1100), 355W.
La GPU RDNA 4 di AMD: 16GB GDDR6 su bus 256-bit (640 GB/s), 64 CU, 304W. Con ROCm 7 la prima Radeon consumer con supporto ufficiale su Linux (gfx1201, senza workaround): ~92 tok/s su gpt-oss-20b, ~52 tok/s su Qwen 14B. Il 640 GB/s è il 43% in più della RTX 5060 Ti 16GB: la carta 16GB più veloce per modelli 9-20B, ma il 16GB non tiene un 27B dense.
La APU AMD con la massima memoria unificata su x86: fino a 128GB di LPDDR5X condivisa tra CPU (16 core Zen 5), GPU integrata (40 CU RDNA 3.5) e NPU. Fino a 96GB allocabili alla GPU: modelli fino a 100B+ a 4 bit senza GPU dedicata, su mini-PC o laptop. Bandwidth 256 GB/s.
Apple's top-tier chip: up to 256GB unified memory on Mac Studio. The simplest way to run 70B+ models, with CPU and GPU sharing the same memory.
Il chip Apple Silicon di punta per l'IA locale: 18 core CPU e 40 core GPU con memoria unificata fino a 128GB a 614 GB/s. Il Neural Accelerator su ogni core GPU raddoppia la velocità dei modelli MoE in decode rispetto alla generazione M4: ~88 tok/s su gpt-oss-120b, il più veloce della classe.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
Il desktop compatto di Apple con il chip M6, primo processore Apple in 2nm: 12 core CPU, 12 core GPU con Neural Accelerator in ogni core e Neural Engine doppio da 16 core. 16GB di memoria unificata di serie (fino a 32GB, 170 GB/s), Wi-Fi 7, Thunderbolt 5. La piattaforma d'ingresso per IA locale: modelli fino a ~20B quantizzati a 4 bit girano interamente sul dispositivo, e la versione M5 Pro arriva a 64GB e 307 GB/s.
La workstation Apple di fascia alta: M5 Max con 18 core CPU, GPU fino a 40 core con Neural Accelerator e fino a 128GB di memoria unificata a 614 GB/s. Modelli fino a ~120B in 4 bit (e i MoE a bassa attivazione come gpt-oss-120b in tempo quasi reale), con MLX e llama.cpp. 10GbE di serie, Thunderbolt 5, fino a 8 display.
Il Mac più potente di Apple: M5 Ultra, primo chip a quattro die (due M5 Max uniti da UltraFusion), fino a 36 core CPU, 80 core GPU e 512GB di memoria unificata a 1,2 TB/s. Pensato per modelli frontier-class in locale: MoE da centinaia di miliardi di parametri e RAG su corpora enormi, senza cloud. Il clustering RDMA di più unità porta fino a 3× l'inferenza distribuita.
80GB HBM2e datacenter GPU: the standard for datacenter training and inference. Requires dedicated servers and enterprise power.
The top-tier datacenter GPU with 80GB HBM3: the top-of-the-line for large-model training and inference. Enterprise configurations only.
The most accessible consumer GPU with 12GB VRAM: the entry point for local inference. Comfortably runs 7-8B quantized models.
24GB VRAM at very favorable used-market prices: the cheapest way to reach 24GB for 30B models. Discontinued.
16GB VRAM at an entry-level price: the right choice for quantized 13-14B models. Good headroom for personal use.
16GB VRAM with 672 GB/s bandwidth: high-end performance at a contained price. Among the best VRAM/price ratios.
The world's most powerful consumer GPU for local training and high-speed inference.
Il 16GB d'ingresso della generazione Blackwell: GB206, 16GB GDDR7 a 448 GB/s, 180W, PCIe 5.0 x8. Lancio a 429 USD: il modo più economico di far girare Qwen3.8-27B e i modelli 30B+ in Q4 su una singola scheda. Prezzo street 2026 più alto per la carenza di GDDR7.
Blackwell GB205 di fascia media: 12GB GDDR7 su bus 192-bit (672 GB/s), 6.144 CUDA core, 250W. Supporto completo ai formati FP4/FP8 per l'inferenza. Lancio a 549 USD, marzo 2025.
Blackwell GB203 da fascia alta: 16GB GDDR7 su bus 256-bit (896 GB/s), 8.960 CUDA core, 300W. Il 16GB rende possibile Qwen3.8-27B o i modelli 30B+ in Q4 con contesto ampio. Lancio a 749 USD, febbraio 2025.
16GB GDDR7 with 960 GB/s bandwidth: the mid-range Blackwell GPU. Decode speed well above prior generations.
The fastest consumer GPU on the planet: 32GB GDDR7 and 1,792 GB/s bandwidth. The top pick for local inference without going to the datacenter.
