Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Risorse
Strumenti, framework e modelli per l'IA locale
3 risorse trovate per "Llama"
Strumenti, framework e modelli per l'IA locale
3 risorse trovate per "Llama"
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Strumento open source per eseguire LLM localmente con semplicità.