Ressources

Outils, frameworks et modèles pour l'IA locale

Tout Organisations Matériel Logiciel Modèles Inférence Frameworks

Trier par:Nom (A-Z)Nom (Z-A)Catégorie Plus récentes Plus anciennes Prix (croissant)Prix (décroissant)VRAM (la plus élevée)Paramètres (les plus élevés)

2 ressources trouvées pour "High-throughput"

Inférence⚡

SGLang

Publié le 18 janv. 2024v0.1.5

Moteur de serving open source pour LLM avec RadixAttention, continuous batching et décodage spéculatif de premier plan (MTP, EAGLE, draft model, ngram). Licence Apache-2.0.

LLMServingGPUHigh-throughput

ComparerSite

Inférence🚀

vLLM

Publié le 13 juin 2023v0.30.0

Serving haute cadence de LLM avec PagedAttention et des optimisations matérielles.

LLMServingGPUHigh-throughput

ComparerSite