Latence

Le temps qui s'écoule entre la requête et la réponse du modèle. En local, il dépend surtout de la vitesse de génération (tokens par seconde), elle-même liée à la taille des poids relus à chaque token : en dessous de ~15 tokens/s, l'usage interactif devient pénible, quelle que soit la qualité des réponses.