Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Risorse
Strumenti, framework e modelli per l'IA locale
2 risorse trovate per "C++"
Strumenti, framework e modelli per l'IA locale
2 risorse trovate per "C++"
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.