PISA : attention en blocs creux à complexité log-linéaire
RechercheArticles connexes
Mac Studio M5 Ultra : 512 Go de mémoire unifiée sur le bureau
Quatre dies, 512 Go de mémoire unifiée à 1,2 To/s : le Mac Studio M5 Ultra fait tourner les MoE de 100 à 560B en local. Les calculs de vitesse, le comparatif de coût avec la DGX Station et quand le Mac est le bon choix.
À combien revient un token : cinq chemins, les comptes et le point d'équilibre
API frontier, abonnement, fournisseurs d'inférence, GPU en location ou matériel à vous : cinq chemins pour générer des tokens, avec les coûts réels par mois, le compte de l'électricité et le point d'équilibre calculé.
KV cache : pourquoi la RAM sert à plus que le seul modèle
Ce qu'est la KV cache, la formule pour la calculer avec les chiffres de Llama 3.1 8B et Qwen3 8B, et les trois leviers pour la gérer : contexte, quantisation et flash attention.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.