Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Torna alle risorse
Inferenza⚡
faster-whisper
Pubblicato il 11 feb 2023
Reimplementazione di Whisper basata su CTranslate2: fino a 4 volte più veloce di openai/whisper con la stessa accuratezza e meno memoria. Supporta la quantizzazione 8-bit su CPU e GPU.
Caratteristiche
- CTranslate2, fino a 4x più veloce
- Quantizzazione 8-bit (CPU e GPU)
- Python, MIT
- 99 lingue di Whisper
Cronologia delle versioni
- v1.2.1Attuale
Ultima release verificata: mantenute le ottimizzazioni CTranslate2 e la quantizzazione 8-bit su CPU e GPU.
- v1.1.1
Serie 1.x: API stabile per il modello Whisper, supporto ai modelli large-v3 e tooling per la trascrizione in streaming.
- v0.2.0
Prima release taggata su PyPI: reimplementation di Whisper su CTranslate2 con benchmark pubblici rispetto a openai/whisper, whisper.cpp e transformers.
Tag
Link Utili
Scopri faster-whisper
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare faster-whisper.
Risorse Correlate — Inferenza
Inferenza🦙
Ollama
Pubblicato il 27 lug 2023v0.35.0
Strumento open source per eseguire LLM localmente con semplicità.
LLMLocalOpen SourceCLI
Inferenza🗣️
Piper TTS
Pubblicato il 1 apr 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale