Strumenti, framework e modelli per l'IA locale
43 risorse trovate per "Locale"
AMD: le GPU Radeon con architettura RDNA sono la seconda piattaforma consumer per l'IA locale. Da ROCm 7 le schede consumer (RX 7900 XTX, RX 9070 XT) hanno supporto ufficiale su Linux senza workaround, e l'APO Strix Halo porta fino a 128GB di memoria unificata in un portatile. Le GPU e le APU nel catalogo sono le risorse figlie.
La Radeon con la maggiore capacità consumer: 24GB GDDR6 a 960 GB/s (bus 384-bit). Per l'IA locale la capacità batte la novità: mentre le schede da 16GB non caricano i modelli 27B, qui Qwen3.8-27B e i 32B in Q4 ci stanno con contesto ampio. 960 GB/s è il 96% della RTX 4090. ROCm ufficiale (gfx1100), 355W.
Apple Inc. (Cupertino, USA): i chip Apple Silicon e i Mac con memoria unificata sono tra i riferimenti per l'IA locale su consumer hardware. I prodotti Apple nel catalogo sono le risorse figlie.
Il chip Apple Silicon di punta per l'IA locale: 18 core CPU e 40 core GPU con memoria unificata fino a 128GB a 614 GB/s. Il Neural Accelerator su ogni core GPU raddoppia la velocità dei modelli MoE in decode rispetto alla generazione M4: ~88 tok/s su gpt-oss-120b, il più veloce della classe.
Il modello decisionale da 9B di Bespoke Labs: gira interamente in locale via Ollama 0.35 e risponde a domande tipizzate (vero/falso, scala numerica, scelta multipla) con la nuova API systemone. Pensato per la classificazione rapida in pipeline automatizzate, senza cloud.
CLI di NVIDIA in Rust per lo sviluppo assistito da IA del kernel Linux, con focus sull'IA locale: validazione dei patch, build, boot e test, pensata per il backporting di patch su kernel più vecchi. Supporta back-end locali (Claude, OpenCode, Codex) o server OpenAI-compatibili. Licenza Apache 2.0, guidato da Andrea Righi.
Modello MoE di DeepSeek con 552B di parametri totali e 8-16B attivi per token. Contesto da 1M di token, licenza MIT: uso commerciale libero. Pensato per il serving in linea, troppo grande per un uso locale su un singolo PC.
Reimplementazione di Whisper basata su CTranslate2: fino a 4 volte più veloce di openai/whisper con la stessa accuratezza e meno memoria. Supporta la quantizzazione 8-bit su CPU e GPU.
La taglia 12B della famiglia Gemma 4 di Google: 11,95B dense, contesto 256K e multimodalità integrata senza encoder separati (testo+immagini+audio). Licenza Apache 2.0. In Q4_K_M occupa circa 7,4GB: il punto di equilibrio tra qualità e requisiti hardware per l'uso locale su 8-16GB.
Modello compatto della famiglia Gemma 4 di Google: 8B di parametri totali, di cui 4,5B effettivi grazie agli embedding per livello (PLE). Contesto di 131K token, oltre 140 lingue, input testo+immagini e audio. La taglia di ingresso della famiglia Gemma 4 per l'uso locale su 8-16GB.
Libreria Python di Hugging Face per eseguire i pipeline dei modelli generativi: immagine, video e audio. È il modo standard per girare modelli come Qwen-Image in locale, con supporto CUDA e offload CPU per le GPU con meno memoria.
Le piattaforme cloud per i modelli: alternative quando l'hardware locale non basta. Replicate e Runpod nel catalogo sono le risorse figlie.
Intel: le GPU Arc (Xe) sono la terza piattaforma consumer per l'IA locale, con 12-16GB di VRAM a prezzi d'ingresso. Il percorso di inferenza mantenuto è Vulkan (Ollama nativo, llama.cpp): il progetto IPEX-LLM è stato archiviato nel gennaio 2026. Le GPU nel catalogo sono le risorse figlie.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
Modello di sintesi vocale da 82M di parametri su architettura VITS, Apache-2.0 per i pesi, con voci in decine di lingue e qualità sorprendentemente alta per le dimensioni. Gira in modo efficiente anche solo su CPU.
MoE di Aleph Alpha: 78,1B parametri (3,46B attivi per token), Apache 2.0, pesi FP8, contesto fino a 1M token, reasoning mode e tool calling. Pensato per carichi mission-critical su hardware locale.
Il cavallo di battaglia locale per eccellenza: qualità solida, contesto da 131K token e un ecosistema di quantizzazioni GGUF immenso. La scelta standard per chat e assistenti.
Tool open source che stima la velocità di inferenza di un modello locale su oltre 250 configurazioni hardware (GPU, Mac, CPU): stime misurate da benchmark della community o derivate da setup simili. Serve a scegliere l'hardware prima di acquistarlo.
App desktop senza terminale per scaricare ed eseguire modelli GGUF: interfaccia grafica, ricerca modelli integrata e server locale. La via più semplice per iniziare.
Il desktop compatto di Apple con il chip M6, primo processore Apple in 2nm: 12 core CPU, 12 core GPU con Neural Accelerator in ogni core e Neural Engine doppio da 16 core. 16GB di memoria unificata di serie (fino a 32GB, 170 GB/s), Wi-Fi 7, Thunderbolt 5. La piattaforma d'ingresso per IA locale: modelli fino a ~20B quantizzati a 4 bit girano interamente sul dispositivo, e la versione M5 Pro arriva a 64GB e 307 GB/s.
Il Mac più potente di Apple: M5 Ultra, primo chip a quattro die (due M5 Max uniti da UltraFusion), fino a 36 core CPU, 80 core GPU e 512GB di memoria unificata a 1,2 TB/s. Pensato per modelli frontier-class in locale: MoE da centinaia di miliardi di parametri e RAG su corpora enormi, senza cloud. Il clustering RDMA di più unità porta fino a 3× l'inferenza distribuita.
Proxy open source che intercetta e mostra i contenuti delle richieste HTTPS in chiaro: lo strumento per verificare cosa parte davvero in rete dal tuo setup di IA locale.
NVIDIA: le GPU con architettura CUDA sono lo standard de facto per l'inferenza IA locale. La VRAM determina quali modelli girano in locale: 24GB (RTX 4090) copre ~30B quantizzati, 80GB (A100/H100) i modelli 70B+ in precisione completa. Le GPU nel catalogo sono le risorse figlie.
La workstation desktop NVIDIA per l'IA locale: superchip Grace Blackwell GB10 con 128GB di memoria unificata a 273 GB/s e circa 1 petaFLOP in FP4. CUDA completo, ~12 tok/s su modelli 27B a 4 bit, prefill veloce su contesti lunghi. Prezzo al lancio 3.999 USD, poi 4.699 USD per la carenza di memoria.
Modello fondazione da 500 milioni di parametri di NVIDIA per dati tabellari: predizione, imputazione e generazione su dataset strutturati, con supporto OpenMDW 1.1 e checkpoint pronti all'uso. Esempio di IA locale su dati di business, non generativa di testo.
Modello di sintesi vocale multilingue di NVIDIA: 357M parametri, 12 lingue (italiano e francese inclusi), architettura encoder-decoder transformer. Compatto e pensato per esecuzione in locale a bassa latenza; pesi disponibili su Hugging Face.
Famiglia di modelli vision-encoder-decoder di NVIDIA per la comprensione di documenti in locale: markdown, formule LaTeX, bounding box e classe semantica per elemento, nell'ordine di lettura. ViT-H (C-RADIO) + decoder mBART a 10 blocchi, tutti sotto il miliardo di parametri. In locale via vLLM (v0.20–v0.26 per la 2.0) o Transformers, su GPU NVIDIA (Turing ad Blackwell).
Modello vocale end-to-end full-duplex da 11B: comprensione e generazione audio in un'unica architettura, senza stack in cascata ASR→LLM→TTS. Primo modello full-duplex open con tool calling durante la conversazione, risposte in ~450ms, interruzioni e turni naturali.
La GPU consumer più accessibile con 12GB di VRAM: il punto d'ingresso per l'inferenza locale. Esegue con margine i modelli da 7-8B quantizzati.
La GPU consumer più potente al mondo per training locale e inferenza ad alta velocità.
La GPU consumer più veloce al mondo: 32GB di GDDR7 e 1.792 GB/s di banda. La scelta top per inferenza locale senza salire al datacenter.
Interfaccia web completa in stile ChatGPT per Ollama e llama.cpp: account multi-utente, conversazioni organizzate, gestione documenti per RAG, prompt di sistema per modello, tool e plugin. In v0.11.4 (settembre 2026) i metadati dei file viaggiano con i blocchi recuperati e la ricerca ibrida gira nativamente nel database: le grandi basi di conoscenza sono molto più veloci. Il modo più semplice per trasformare la tua IA locale in un prodotto d'uso quotidiano.
Il modello di ragionamento open-weight di OpenAI: MoE con 21B di parametri totali e 3,6B attivi (32 esperti, top-4), contesto 128K e quantizzazione MXFP4 nativa. Licenza Apache 2.0: i pesi partono già quantizzati a 4 bit, senza passo di conversione. Sta in 16GB di VRAM e gira anche su RAM unificata o CPU.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
Modello open-weight da 7B (DiT da 32 layer) che unisce generazione da testo fino a 2048x2048, editing con fino a 10 immagini di riferimento e trasparenza RGBA nativa. Pensato per girare in locale su 16GB+ di VRAM; supportato da diffusers e ComfyUI.
Il modello dense 8B della famiglia Qwen3: 8,19B di parametri, contesto nativo di 40K token (espandibile con YaRN) e ragionamento in modalità think/non-think attivabile per prompt. Licenza Apache 2.0. È il punto di equilibrio per l'uso locale su GPU da 8-12GB: in Q4_K_M occupa circa 5GB, lasciando spazio per contesto lungo.
Modello di moderazione della sicurezza da 0,6B con classificatore a livello di token per la sorveglianza in tempo reale durante la generazione incrementale. Tre livelli di gravità (sicuro, controverso, non sicuro) e 119 lingue: piccolo e locale, ideale per filtrare gli output senza cloud.
SBC con CPU ARM Cortex-A76 a 8 core e 2–16 GB di RAM: il riferimento per l'apprendimento e per l'esecuzione di piccoli modelli di IA locale in inferenza CPU.
Strumento Python a dipendenza zero che riconosce e riassume ogni file con un LLM locale (Ollama, LM Studio o MLX-LM), completamente offline. Rileva il tipo per contenuto, estrae la struttura (CSV, email, script, log) e segnala i file che contengono istruzioni all'assistente. Funziona anche senza modello (--no-llm). Licenza MIT.
Trasforma un'immagine in un breve clip video di circa 2 secondi. Il punto d'ingresso per la generazione video locale; 16GB di VRAM consigliati.
App macOS di dettatura 100% locale: trascrizione con Whisper sul dispositivo e riscrittura con un LLM locale (Qwen) sulla GPU M-series. Il testo arriva nell'app target; nessun dato passa dal cloud.
Il modello di trascrizione di riferimento per l'IA locale: 809M di parametri, 99 lingue, licenza MIT. Versione distillata di Large-v3 con decoder ridotto da 32 a 4 layer: trascrive circa 8 volte più veloce con perdita di accuratezza trascurabile. Gira in tempo reale su una GPU consumer e anche solo su CPU.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
