Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Torna alle risorse
whisper.cpp
Pubblicato il 1 mar 2023
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
Caratteristiche
- C/C++, senza Python
- Quantizzazione GGML
- Apple Silicon (Metal) e Vulkan
- Streaming
- MIT
Cronologia delle versioni
- whisper.cppAttuale
Port C++ di Whisper su ggml: ottimizzato per CPU e Apple Silicon, quantizzazione GGML, streaming. MIT.
Tag
Link Utili
Scopri whisper.cpp
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare whisper.cpp.
Risorse Correlate — Inferenza
Inferenza🦙
Ollama
Pubblicato il 27 lug 2023v0.35.0
Strumento open source per eseguire LLM localmente con semplicità.
LLMLocalOpen SourceCLI
Inferenza🗣️
Piper TTS
Pubblicato il 1 apr 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale