Inferenza🦙
Ollama
Pubblicato il 27 lug 2023v0.35.0
Strumento open source per eseguire LLM localmente con semplicità.
LLMLocalOpen SourceCLI
Torna alle risorse
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Caratteristiche
- CPU/GPU offload
- GGUF format
- Low memory
- Fast inference
- Support CPU AVX/AVX-512/AMX
Tag
Link Utili
Scopri llama.cpp
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare llama.cpp.
Risorse Correlate — Inferenza
Inferenza🗣️
Piper TTS
Pubblicato il 1 apr 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale
Inferenza🚀
vLLM
Pubblicato il 13 giu 2023v0.30.0
High-throughput serving di LLM con PagedAttention e ottimizzazioni hardware.
LLMServingGPUHigh-throughput