Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Torna alle risorse
Inferenza⚡
Magnitude
Pubblicato il 12 giu 2026
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Caratteristiche
- Kernel compiles on your hardware
- Fino a 2× vs llama.cpp
- Apple Silicon / NVIDIA / AMD / CPU
- Ottimizzazione per agenti
Cronologia delle versioni
- 1.0Attuale
Lancio pubblico (YC S25, presentazione su Hacker News): repository magnitudedev/magnitude creato a giugno 2026.
Tag
Link Utili
Scopri Magnitude
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare Magnitude.
Risorse Correlate — Inferenza
Inferenza🦙
Ollama
Pubblicato il 27 lug 2023v0.35.0
Strumento open source per eseguire LLM localmente con semplicità.
LLMLocalOpen SourceCLI
Inferenza🗣️
Piper TTS
Pubblicato il 1 apr 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale