Outils, frameworks et modèles pour l'IA locale
2 ressources trouvées pour "On-device"
Modèle de décision System 1 de 11,4 Mo (un seul fichier), construit sur un encodeur textuel e5-small-v2. Pic de mémoire résidente de 128 Mo, tourne sur CPU. Donné un état et des questions typées, il renvoie une probabilité calibrée par option en un seul passage, sans générer de jetons. Anglais uniquement.
Le premier MoE open-source de la série MiniCPM-V d'OpenBMB : 35,2 Md de paramètres au total, ~3 Md actifs par token, compréhension d'images multiples et de vidéo avec compression précoce des tokens visuels (LLaVA-UHD v4). Premier MoE open-source à décoder fluidement sur appareil — 13+ tokens/seconde avec seulement 3 Go de RAM sur iPhone 17 Pro Max — grâce au Lookahead Expert Scheduling (llama.cpp-omni), à une quantisation fine par couche et au DSpark speculative sampling. Support day-0 pour Rockchip, Houmo, Intel, AMD et Arm ; tourne sur Ollama, llama.cpp, vLLM et SGLang.
