GQA (Grouped-Query Attention)

Schéma d'attention où plusieurs têtes de requête partagent le même groupe de matrices Key et Value, réduisant le nombre de têtes_KV par rapport au MHA. Baisse le coût et la vitesse d'accès mémoire pendant le décodage, avec un compromis de qualité minimal.