Strumenti, framework e modelli per l'IA locale
3 risorse trovate per "Vulkan"
Intel: le GPU Arc (Xe) sono la terza piattaforma consumer per l'IA locale, con 12-16GB di VRAM a prezzi d'ingresso. Il percorso di inferenza mantenuto è Vulkan (Ollama nativo, llama.cpp): il progetto IPEX-LLM è stato archiviato nel gennaio 2026. Le GPU nel catalogo sono le risorse figlie.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
