Outils, frameworks et modèles pour l'IA locale
32 ressources trouvées pour "LLM"
Modèle de raisonnement de 27B aux poids ternaires à 1,72 bit par poids, dérivé de Qwen3.8-27B avec attention hybride (~75 % linéaire). En GGUF PTQ1_0 il occupe 5,95 Go, conserve 98,2 % de l'intelligence FP16 et atteint ~47 tok/s sur un laptop Apple M5 Max, avec un contexte de 262K tokens. Licence Apache 2.0. Exige la fork llama.cpp de Prism ML (les noyaux ternaires ne sont pas dans llama.cpp stock).
Modèle MoE de DeepSeek avec 552B de paramètres au total et 8 à 16B actifs par token. Contexte de 1M de tokens, licence MIT : usage commercial libre. Conçu pour le service en ligne, trop grand pour un usage local sur un seul PC.
Famille de modèles open de Google en tailles 1B, 4B, 12B et 27B. Contexte de 128K tokens, plus de 140 langues supportées et entrées multimédias (texte et images). Excellent choix pour le RAG et les documents longs sur du matériel grand public.
La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.
La taglia 12B della famiglia Gemma 4 di Google: 11,95B dense, contesto 256K e multimodalità integrata senza encoder separati (testo+immagini+audio). Licenza Apache 2.0. In Q4_K_M occupa circa 7,4GB: il punto di equilibrio tra qualità e requisiti hardware per l'uso locale su 8-16GB.
Il modello MoE della famiglia Gemma 4: 25,2B di parametri totali con 3,8B attivi per token. Contesto 256K, input testo+immagini, oltre 140 lingue, Apache 2.0. In Q4_K_M pesa circa 16,8GB: la scelta per chi ha 24GB di VRAM e vuole qualità da modello grande con velocità da modello piccolo.
Modèle compact de la famille Gemma 4 de Google : 8B de paramètres au total, dont 4,5B effectifs grâce aux embeddings par couche (PLE). Contexte de 131K tokens, plus de 140 langues, entrées texte+images et audio. La taille d'entrée de la famille Gemma 4 pour l'usage local sur 8-16GB.
Modello MoE open-weight di inclusionAI: 560B parametri totali, 25B attivi per token, architettura ibrida (attenzione lineare KDA + Gated MLA), finestra di contesto fino a 1M di token, licenza MIT. Reasoning ibrido con modalità di pensiero on/off. A 4 bit entra in 512GB di memoria unificata.
Le plus grand modèle open de Meta : qualité de frontière fermée mais exigences de datacenter. En pratique, il exige du multi-GPU à forte VRAM ou le cloud.
Modèle open de niveau frontière avec un contexte de 131K tokens. Exige 48-80 Go de VRAM, un Mac à mémoire unifiée ou une configuration multi-GPU.
Le cheval de bataille local par excellence : qualité solide, contexte de 131K tokens et un écosystème de quantisations GGUF immense. Le choix standard pour la conversation et les assistants.
Petit modèle rapide avec un contexte jusqu'à 131K tokens. Point d'entrée idéal pour la conversation et les résumés sur du matériel modeste, excellent sur smartphones et mini-PC.
Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.
Le modèle MoE compact de la famille Llama 4 : 17B de paramètres actifs sur 109B au total (16 experts). Licence communautaire Meta avec usage libre sous 700 millions d'utilisateurs mensuels. L'un des meilleurs points d'entrée de la famille Llama 4.
Le premier MoE open-source de la série MiniCPM-V d'OpenBMB : 35,2 Md de paramètres au total, ~3 Md actifs par token, compréhension d'images multiples et de vidéo avec compression précoce des tokens visuels (LLaVA-UHD v4). Premier MoE open-source à décoder fluidement sur appareil — 13+ tokens/seconde avec seulement 3 Go de RAM sur iPhone 17 Pro Max — grâce au Lookahead Expert Scheduling (llama.cpp-omni), à une quantisation fine par couche et au DSpark speculative sampling. Support day-0 pour Rockchip, Houmo, Intel, AMD et Arm ; tourne sur Ollama, llama.cpp, vLLM et SGLang.
Modèle de 7B rapide et efficace, bien calibré pour les tâches multilingues européennes. Excellente qualité d'instruction à une fraction du coût des modèles 13B et plus.
Il primo 'modello unificato' di Mistral: dense da 128B che unisce instruction-following, reasoning e coding in un'unica serie di pesi, sostituendo Medium 3.1, Magistral e Devstral 2. Multimodale (testo+immagini), contesto 256K, ragionamento configurabile. Open weights con licenza Modified MIT: uso libero fino a una soglia di fatturato per le grandi aziende.
Il modello della linea Small di Mistral, ora MoE: 119B di parametri totali con 6,5B attivi per token (128 esperti, 4 attivi). Unifica instruct, reasoning e coding in un unico modello multimodale (testo+immagini) con contesto 256K. Licenza Apache 2.0.
Huit experts de 7B dont deux actifs par token : 47B de paramètres au total et un raisonnement de grand modèle à une fraction du coût de calcul. Un classique du monde open.
Famille de modèles vision-encodeur-décodeur de NVIDIA pour la compréhension de documents en local : markdown, formules LaTeX, bounding boxes et classe sémantique par élément, dans l'ordre de lecture. ViT-H (C-RADIO) + décodeur mBART à 10 blocs, tous sous le milliard de paramètres. En local via vLLM (v0.20–v0.26 pour la 2.0) ou Transformers, sur GPU NVIDIA (Turing à Blackwell).
Modèle vocal end-to-end full-duplex de 11B : compréhension et génération audio dans une seule architecture, sans stack en cascade ASR→LLM→TTS. Premier modèle full-duplex open avec tool calling pendant la conversation, réponses en ~450ms, interruptions et tours naturels.
Il modello di ragionamento open-weight di OpenAI: MoE con 21B di parametri totali e 3,6B attivi (32 esperti, top-4), contesto 128K e quantizzazione MXFP4 nativa. Licenza Apache 2.0: i pesi partono già quantizzati a 4 bit, senza passo di conversione. Sta in 16GB di VRAM e gira anche su RAM unificata o CPU.
Modèle open-weight de 7B (DiT de 32 couches) qui unifie génération à partir de texte jusqu'à 2048x2048, édition avec jusqu'à 10 images de référence et transparence RGBA native. Pensé pour tourner en local sur 16Go+ de VRAM ; supporté par diffusers et ComfyUI.
Modèle ultra-compact de 0,5 milliard de paramètres. S'exécute sur n'importe quel matériel, y compris embarqué : idéal pour des résumés légers et des appareils locaux à très faible consommation.
Saut net en raisonnement et qualité d'instruction par rapport aux 8B. Excellent pour le code, les agents et la rédaction structurée sur GPU 16 Go ou Mac avec 32 Go de RAM.
Qualité proche des modèles 70B à une fraction de la taille : le point idéal pour les usages avancés. Excellent en italien, en code et en raisonnement. Exige 24 Go de VRAM ou plus.
Modèle de 3 milliards de paramètres au soutien multilingue excellent, y compris l'italien. Bon équilibre entre qualité et exigences matérielles pour résumés et rédaction.
Le meilleur modèle dense open de sa classe, avec un soutien multilingue de premier ordre en italien, en français et dans d'autres langues européennes. Exige 48-80 Go.
Modèle Mixture-of-Experts : 30B de paramètres au total mais seulement 3,3B actifs par token. Vitesse d'un petit modèle avec la qualité d'un modèle moyen ; le meilleur rapport qualité/vitesse de sa classe.
Il modello dense 8B della famiglia Qwen3: 8,19B di parametri, contesto nativo di 40K token (espandibile con YaRN) e ragionamento in modalità think/non-think attivabile per prompt. Licenza Apache 2.0. È il punto di equilibrio per l'uso locale su GPU da 8-12GB: in Q4_K_M occupa circa 5GB, lasciando spazio per contesto lungo.
Modèle MoE de 35 Md de paramètres avec ~3 Md actifs par jeton de la famille Qwen, Apache-2.0. C'est la base de fine-tune de JEV-35B. Adapté à des GPU de 40 Go+ en BF16 ou à des quantisations 4/8 bits pour du matériel plus petit.
Il modello dense multimodale della generazione Qwen3.8 di Alibaba: 27,78B di parametri, input testo+immagini+video e contesto nativo di 262K token. Licenza Apache 2.0. L'attenzione ibrida (DeltaNet lineare + GQA) riduce la KV cache di circa il 75% rispetto a un transformer standard: in Q4_K_M sta su una singola GPU da 24GB.
