Inférence⚡
llama.cpp
Publié le 15 oct. 2022de Motori di inferenza
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Retour aux ressources
Logiciel⚙️
Motori di inferenza
Les runtime qui font tourner les modèles locaux sur votre matériel : Ollama pour la simplicité, llama.cpp pour la portabilité, vLLM pour le débit de production. Les moteurs du catalogue sont les ressources filles.
Caractéristiques
- Prise en charge CPU, CUDA, ROCm, Metal, NPU
- Quantification GGUF et AWQ
- API locales compatibles OpenAI
Ressources de Motori di inferenza
Inférence🦙
Inférence🗣️
Piper TTS
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale
Inférence🚀
vLLM
Serving haute cadence de LLM avec PagedAttention et des optimisations matérielles.
LLMServingGPUHigh-throughput
Inférence🎙️
whisper.cpp
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
AudioTrascrizioneOpen SourceLocale
Tags
Découvrir Motori di inferenza
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser Motori di inferenza.
Ressources liées — Logiciel
Logiciel🧩
ComfyUI
Publié le 20 nov. 2023v0.40.0
Le workflow visuel à nœuds pour les modèles de diffusion : la référence pour SDXL, FLUX, vidéo et audio. Maximale flexibilité, de la pipeline simple à la pipeline professionnelle.
SoftwareDiffusionOpen Source
Logiciel🖼️
Fooocus
Publié le 9 août 20232.5.5
Génération d'images SDXL en un clic, style Midjourney : zéro paramètre à gérer. La voie la plus simple pour produire des images de qualité.
SoftwareImmaginiSemplice
Logiciel💻
LM Studio
Publié le 15 juin 20231.0.0 (Bionic)
Application desktop sans terminal pour télécharger et exécuter des modèles GGUF : interface graphique, recherche de modèles intégrée et serveur local. La voie la plus simple pour commencer.
SoftwareDesktopGGUF