Glossaire IA Locale

Famille de schémas d'attention (DeltaNet, Gated DeltaNet, Mamba, etc.) qui remplace la KV cache à croissance linéaire par un état récurrent de taille fixe, réduisant drastiquement la mémoire à long contexte. C'est la technique à la base des modèles à attention hybride comme Qwen3.8-27B.

Bibliothèque tensorielle C/C++ sur laquelle est construit llama.cpp (du nom de GGML, le format qui l'a fait connaître). Elle définit tenseurs, opérations et backends — CPU, GPU, Apple Silicon — sur lesquels tournent les modèles en inférence locale. C'est le niveau « matériel » de la pile d'inférence : au-dessus d'elle se trouvent les runtime comme Ollama et llama.cpp.

Schéma d'attention où plusieurs têtes de requête partagent le même groupe de matrices Key et Value, réduisant le nombre de têtes_KV par rapport au MHA. Baisse le coût et la vitesse d'accès mémoire pendant le décodage, avec un compromis de qualité minimal.

Architecture des puces Apple Silicon où CPU et GPU partagent le même pool de RAM. Pour l'IA locale, tout le modèle peut y résider sans copier les données entre mémoire système et mémoire vidéo.

Architecture de modèle où le modèle compte beaucoup de milliards de paramètres au total, mais pour chaque token n'en active qu'une petite sous-partie (les 'experts' sélectionnés par le routeur). Le résultat, c'est la qualité d'un grand modèle avec la vitesse et le coût de calcul d'un petit. Exemple : Qwen3 30B-A3B a 30,5B de paramètres totaux mais n'en utilise que 3,3B par token. Le prix, c'est que tout le poids du modèle doit quand même être chargé en mémoire.

Fonction introduite dans Qwen3 où le modèle peut générer une longue étape de raisonnement intermédiaire avant de produire la réponse finale. Elle améliore la qualité sur les problèmes logiques, mathématiques et de planification, au prix de plus de tokens (donc plus de temps et de mémoire) par réponse. Elle peut être activée ou désactivée, et dans Qwen3 le modèle décide aussi seul de raisonner.

Retrieval Augmented Generation. Architecture qui combine un modèle de langage avec un système de recherche documentaire. Au lieu de s'appuyer uniquement sur la connaissance du modèle, le système récupère des documents pertinents dans une base de données avant de générer la réponse. Cela réduit les hallucinations et rend le système facilement mis à jour sans réentraînement.

L'étape d'un système RAG où, à partir de la question de l'utilisateur, le système cherche dans la base vectorielle les blocs de texte les plus similaires et les ajoute au prompt. La qualité de la récupération est le facteur qui détermine la qualité de la réponse finale.

Architecture de réseau de neurones introduite en 2017 (Attention Is All You Need) qui a révolutionné le NLP. Contrairement aux réseaux récurrents, les Transformer utilisent l'attention pour traiter l'entrée complète simultanément. Tous les LLM modernes (GPT, Llama, Mistral, Claude) sont basés sur cette architecture.

Technologie Apple qui unit deux puces M5 Max en une seule puce M5 Ultra, présentée au système comme un seul processeur. La mémoire unifiée des deux dies forme un pool unique (jusqu'à 512 Go) accessible par le CPU, le GPU et les Neural Accelerators.

Voiced Language Model with a Varying-rate adversarial (VITS) : architecture neuronale de synthèse vocale qui génère la forme d'onde directement à partir du texte, sans vocoder séparé. Elle est à la base de Piper et Kokoro-82M.