Inference⚡
llama.cpp
Released Oct 15, 2022
C++ implementation of LLMs for efficient inference on consumer CPUs and GPUs.
LLMC++LocalEfficient
Back to resources
vLLM
Released on Jun 13, 2023
High-throughput LLM serving with PagedAttention and hardware optimizations.
Features
- PagedAttention
- Continuous batching
- Multi-GPU
- OpenAI API
- Prefix caching
- Chunked prefill
Version history
- v0.30.0Latest
Aggiunge supporto a DeepSeek-V4.1-Flash, GLM-5.3-Flash e altri modelli, insieme alla feature Fast Start con cache pesi persistente in GPU.
- v0.14.0
Abilita di default l'asynchronous scheduling, che sovrappone scheduling e esecuzione GPU migliorando il throughput.
- v0.8.0
Attiva di default il nuovo motore V1 per gli scenari supportati, con miglioramenti di prestazioni e metriche.
- v0.6.0
Raggiunge circa il doppio del throughput rispetto a v0.5.3 con lo scheduler a più passi e l'output processor asincrono.
- v0.5.0
Aggiunge il supporto alla quantizzazione FP8 e l'API Vision di OpenAI per i modelli LLaVA.
- v0.4.0
Introduce la cache automatica del prefisso (automatic prefix caching) e il primo modello vision LLaVA.
- v0.2.0
Porta fino al 60% di miglioramento delle prestazioni e aggiunge il supporto iniziale ad AWQ e a Mistral-7B.
- v0.1.0
Prima release ufficiale di vLLM, motore di inferenza ad alto throughput basato su PagedAttention.
Tags
Useful links
Discover vLLM
Visit the official site to download, learn more and start using vLLM.
Related resources — Inference
Inference🦙
Ollama
Released Jul 27, 2023v0.35.0
Open source tool to run LLMs locally with simplicity.
LLMLocalOpen SourceCLI
Inference🗣️
Piper TTS
Released Apr 1, 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale