Strumenti, framework e modelli per l'IA locale
4 risorse trovate per "Rust"
Modello decisionale open da 35B parametri (3B attivi) di Autotrust, fine-tune di Qwen3.5-35B-A3B per classificazione di testo e scoring del rischio. In quantizzazione NVFP4 occupa circa 25,6 GB di VRAM: gira su una GPU da 32 GB senza bisogno di inferenza frontier.
CLI di NVIDIA in Rust per lo sviluppo assistito da IA del kernel Linux, con focus sull'IA locale: validazione dei patch, build, boot e test, pensata per il backporting di patch su kernel più vecchi. Supporta back-end locali (Claude, OpenCode, Codex) o server OpenAI-compatibili. Licenza Apache 2.0, guidato da Andrea Righi.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
App GTK4/libadwaita per GNOME per chattare con modelli locali via Ollama, in Rust e GPLv3: gestisce l'installazione di Ollama, i modelli, e il caricamento di documenti e immagini locali.
