CUDA

tecnologie

Compute Unified Device Architecture : le stack de programmation GPU de NVIDIA — bibliothèques, compilateur et runtime qui font tourner l'inférence des modèles sur les GPU NVIDIA. C'est le backend par défaut d'Ollama et llama.cpp sur hardware NVIDIA : les optimisations (Flash Attention, kernels quantifiés, formats FP4) arrivent plus tôt sur CUDA que sur toute autre plateforme.