Outils, frameworks et modèles pour l'IA locale
5 ressources trouvées pour "CPU"
Réimplémentation de Whisper basée sur CTranslate2 : jusqu'à 4 fois plus rapide qu'openai/whisper avec la même précision et moins de mémoire. Prise en charge de la quantification 8-bit sur CPU et GPU.
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
