Strumenti, framework e modelli per l'IA locale
21 risorse trovate per "Llama"
Il modello decisionale da 9B di Bespoke Labs: gira interamente in locale via Ollama 0.35 e risponde a domande tipizzate (vero/falso, scala numerica, scelta multipla) con la nuova API systemone. Pensato per la classificazione rapida in pipeline automatizzate, senza cloud.
Modello di ragionamento da 27B con pesi ternari a 1,72 bit per peso, derivato da Qwen3.8-27B con attenzione ibrida (~75% lineare). In GGUF PTQ1_0 occupa 5,95 GB, mantiene il 98,2% dell'intelligenza FP16 e arriva a ~47 tok/s su un laptop Apple M5 Max, con contesto da 262K token. Licenza Apache 2.0. Richiede la fork llama.cpp di Prism ML (i kernel ternari non sono in llama.cpp stock).
Intel: le GPU Arc (Xe) sono la terza piattaforma consumer per l'IA locale, con 12-16GB di VRAM a prezzi d'ingresso. Il percorso di inferenza mantenuto è Vulkan (Ollama nativo, llama.cpp): il progetto IPEX-LLM è stato archiviato nel gennaio 2026. Le GPU nel catalogo sono le risorse figlie.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
Il modello open più grande di Meta: qualità da frontiera chiusa ma requisiti da datacenter. In pratica richiede multi-GPU ad alta VRAM o il cloud.
Modello open di livello frontiera con contesto da 131K token. Richiede 48-80GB di VRAM, un Mac con memoria unificata o una configurazione multi-GPU.
Il cavallo di battaglia locale per eccellenza: qualità solida, contesto da 131K token e un ecosistema di quantizzazioni GGUF immenso. La scelta standard per chat e assistenti.
Modello piccolo e veloce con contesto fino a 131K token. Punto di ingresso ideale per chat e riepilugi su hardware modesto, ottimo per smartphone e mini-PC.
Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.
Il modello MoE compatto della famiglia Llama 4: 17B di parametri attivi su 109B totali (16 esperti). Licenza comunitaria Meta con uso libero sotto i 700 milioni di utenti mensili. Uno dei punti d'ingresso migliori della famiglia Llama 4.
Framework open source per il fine-tuning unificato di 100+ LLM e VLM (Qwen, Llama, Mistral, Gemma): da SFT completo a LoRA, QLoRA e DPO, con WebUI integrata e avvio da un singolo file YAML. Progetto di riferimento della community (ACL 2024).
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
La workstation Apple di fascia alta: M5 Max con 18 core CPU, GPU fino a 40 core con Neural Accelerator e fino a 128GB di memoria unificata a 614 GB/s. Modelli fino a ~120B in 4 bit (e i MoE a bassa attivazione come gpt-oss-120b in tempo quasi reale), con MLX e llama.cpp. 10GbE di serie, Thunderbolt 5, fino a 8 display.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Meta Platforms: la famiglia Llama è la linea di LLM open-weight più diffusa al mondo, da 1B a 405B parametri, con licenza per uso commerciale. I modelli Llama nel catalogo sono le risorse figlie.
Il primo MoE open-source della serie MiniCPM-V di OpenBMB: 35,2B di parametri totali, ~3B attivi per token, comprensione di immagini multiple e video con compressione precoce dei token visivi (LLaVA-UHD v4). Primo MoE open-source con decodifica fluida on-device — 13+ tok/s con soli 3GB di RAM su iPhone 17 Pro Max — grazie al Lookahead Expert Scheduling (llama.cpp-omni), quantizzazione fine per livello e DSpark speculative sampling. Supporto day-0 per Rockchip, Houmo, Intel, AMD e Arm; gira su Ollama, llama.cpp, vLLM e SGLang.
App GTK4/libadwaita per GNOME per chattare con modelli locali via Ollama, in Rust e GPLv3: gestisce l'installazione di Ollama, i modelli, e il caricamento di documenti e immagini locali.
I runtime che fanno girare i modelli locali sul tuo hardware: Ollama per la semplicità, llama.cpp per la portabilità, vLLM per il throughput di produzione. I motori nel catalogo sono le risorse figlie.
Interfaccia web completa in stile ChatGPT per Ollama e llama.cpp: account multi-utente, conversazioni organizzate, gestione documenti per RAG, prompt di sistema per modello, tool e plugin. In v0.11.4 (settembre 2026) i metadati dei file viaggiano con i blocchi recuperati e la ricerca ibrida gira nativamente nel database: le grandi basi di conoscenza sono molto più veloci. Il modo più semplice per trasformare la tua IA locale in un prodotto d'uso quotidiano.
Strumento Python a dipendenza zero che riconosce e riassume ogni file con un LLM locale (Ollama, LM Studio o MLX-LM), completamente offline. Rileva il tipo per contenuto, estrae la struttura (CSV, email, script, log) e segnala i file che contengono istruzioni all'assistente. Funziona anche senza modello (--no-llm). Licenza MIT.
