Aller au contenu principal
← Retour au glossaire

Speculative Decoding

Performances

Technique d'inférence : un petit modèle (draft) propose les tokens et le grand modèle les vérifie en un seul passage, en les acceptant ou en les corrigeant. Résultat : plus de tokens par seconde sans changer la qualité. Variantes modernes : MTP (Multi-Token Prediction, intégré aux checkpoints Qwen3.8) et EAGLE (par exemple sur Mistral Medium 3.5).

Articles liés

Ce terme dans d'autres langues