Débit (throughput)

Nombre de tokens qu'un système d'inférence génère par unité de temps, généralement mesuré en tokens par seconde. Il existe le débit global (toutes les requêtes concurrentes) et la latence d'un utilisateur unique : deux nombres qui racontent des choses différentes et qu'il faut mesurer séparément.