Aller au contenu principal
← Retour aux actualités

GridCore : un scheduler qui fait partager une GPU à plusieurs LLM locaux

Outils et sorties
Un outil Open Source qui planifie plusieurs LLM locaux sur le même GPU, en évitant qu'ils se disputent la VRAM à tour de rôle. Utile pour ceux qui font tourner plusieurs modèles (un assistant, un embedder, un classifieur) sur la même carte et veulent des latences prévisibles.

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.