Glossaire IA Locale
Termes et définitions de l'intelligence artificielle locale, des modèles open source et du calcul.
13 termes dans Technologies
Une base de données spécialisée qui stocke les embeddings (vecteurs numériques) des documents et répond à des recherches par similarité : donné l'embedding de la question, elle renvoie les passages les plus proches. C'est le composant qui rend possible le RAG.
Représentation vectorielle du texte. Un modèle transforme des mots, phrases ou documents en un tableau de nombres (vecteur) qui capture le sens sémantique. Les embeddings sont utilisés pour la recherche sémantique, la similarité de texte et comme base pour les systèmes RAG.
Le nombre maximal de token qu'un modèle peut traiter simultanément dans une seule interaction. Une fenêtre de contexte plus large permet au modèle de lire des documents plus longs, des conversations plus étendues et du code plus complexe. Les modèles modernes supportent de 8K à 128K+ token de contexte.
Service cloud qui exécute du code ou des modèles sur GPU uniquement quand il y a de la demande, en démarrant les instances en quelques secondes et en ramenant le coût à zéro en attente. On paie les secondes de calcul réelles, pas un serveur toujours allumé.
L'interface réseau de votre propre ordinateur, joignable à l'adresse 127.0.0.1 (IPv4) ou ::1 (IPv6). Les services qui tournent en local — le serveur d'Ollama, LM Studio, les interfaces web — écoutent là : vos applications se connectent au modèle local sans traverser le réseau externe. Un pare-feu bien configuré qui bloque l'accès externe à localhost est la première ligne de défense : aucun programme ne peut faire partir vos contenus vers l'extérieur sans qu'une connexion sortante de la machine le montre.
Memory map : le mécanisme par lequel le système d'exploitation associe un fichier à la mémoire du programme, en ne lisant sur demande que les portions utiles. C'est la raison pour laquelle les modèles au format GGUF, avec les tenseurs alignés, se chargent en quelques secondes : pas besoin de copier tout le fichier en RAM.
Optical Character Recognition : technique qui convertit des images et des scans en texte sélectionnable. Pour les documents non « nés numériques », c'est l'étape qui précède le modèle de langage : sans OCR, le modèle n'a pas de texte sur lequel travailler.
Remote Direct Memory Access : permet à une machine de lire et écrire directement dans la mémoire d'une autre, sans faire passer les données par leurs CPU. Sur Mac Studio, elle sert à mutualiser jusqu'à 4 unités via Thunderbolt 5 et à accélérer l'inférence distribuée jusqu'à 3 fois.
Le logiciel AMD pour le calcul GPU : l'équivalent de CUDA sur les Radeon. Depuis ROCm 7, les cartes consumer RDNA 3 et 4 (RX 7900 XTX, RX 9070 XT) sont officiellement prises en charge sur Linux avec Ollama et llama.cpp, sans variable d'environnement de contournement. La voie alternative est Vulkan : moins optimisé mais plus transversal, et c'est aussi la voie maintenue pour les Intel Arc.
La technologie qui convertit l'audio en texte (reconnaissance vocale, ASR). En local, avec des modèles comme Whisper Large-v3-Turbo, la transcription se fait sur votre propre matériel : l'audio ne quitte jamais la machine, ce qui en fait l'option de référence pour des documents sensibles. La qualité se mesure au WER (taux d'erreur par mot) : environ 2,5 % en anglais propre.
La synthèse vocale : la technologie qui génère un audio parlé à partir de texte. Les systèmes locaux comme Piper, basés sur VITS/ONNX, tournent en temps réel sur CPU, sans GPU : idéaux pour les pipelines d'accessibilité, les commandes vocales et les assistants. Le compromis à évaluer est la naturalité contre la latence et les ressources.
L'unité de base de texte traitée par un LLM. Un token est typiquement un mot ou une partie de mot. En anglais, environ 1 token ≈ 4 caractères. Les modèles ont un contexte maximal mesuré en token : GPT-4 supporte 128K token, tandis que Llama 3 supporte 128K. Plus de token = plus de contexte mais plus de ressources nécessaires.
Le composant qui découpe le texte en jetons, les unités que le modèle lit vraiment. Un tokenizer multilingue encode l'italien en moins de jetons qu'un tokenizer anglophone, réduisant calcul et consommation de contexte.