Outils, frameworks et modèles pour l'IA locale
6 ressources trouvées pour "Open Source"
Réimplémentation de Whisper basée sur CTranslate2 : jusqu'à 4 fois plus rapide qu'openai/whisper avec la même précision et moins de mémoire. Prise en charge de la quantification 8-bit sur CPU et GPU.
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
Outil open source pour exécuter des LLM en local, simplement.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
Moteur de serving open source pour LLM avec RadixAttention, continuous batching et décodage spéculatif de premier plan (MTP, EAGLE, draft model, ngram). Licence Apache-2.0.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
