Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Ressources
Outils, frameworks et modèles pour l'IA locale
3 ressources trouvées pour "Llama"
Outils, frameworks et modèles pour l'IA locale
3 ressources trouvées pour "Llama"
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
Outil open source pour exécuter des LLM en local, simplement.