Outils, frameworks et modèles pour l'IA locale
12 ressources trouvées pour "Apple Silicon"
Apple Inc. (Cupertino, USA) : les puces Apple Silicon et les Mac à mémoire unifiée sont une référence pour l'IA locale sur matériel grand public. Les produits Apple du catalogue sont les ressources filles.
La puce Apple haut de gamme : jusqu'à 256 Go de mémoire unifiée sur Mac Studio. La manière la plus simple d'exécuter des modèles 70B et plus, CPU et GPU partageant la même mémoire.
Puce Apple Silicon aux performances exceptionnelles pour le développement mobile et l'inférence edge.
Il chip Apple Silicon di punta per l'IA locale: 18 core CPU e 40 core GPU con memoria unificata fino a 128GB a 614 GB/s. Il Neural Accelerator su ogni core GPU raddoppia la velocità dei modelli MoE in decode rispetto alla generazione M4: ~88 tok/s su gpt-oss-120b, il più veloce della classe.
Il desktop compatto di Apple con il chip M6, primo processore Apple in 2nm: 12 core CPU, 12 core GPU con Neural Accelerator in ogni core e Neural Engine doppio da 16 core. 16GB di memoria unificata di serie (fino a 32GB, 170 GB/s), Wi-Fi 7, Thunderbolt 5. La piattaforma d'ingresso per IA locale: modelli fino a ~20B quantizzati a 4 bit girano interamente sul dispositivo, e la versione M5 Pro arriva a 64GB e 307 GB/s.
La workstation Apple di fascia alta: M5 Max con 18 core CPU, GPU fino a 40 core con Neural Accelerator e fino a 128GB di memoria unificata a 614 GB/s. Modelli fino a ~120B in 4 bit (e i MoE a bassa attivazione come gpt-oss-120b in tempo quasi reale), con MLX e llama.cpp. 10GbE di serie, Thunderbolt 5, fino a 8 display.
Il Mac più potente di Apple: M5 Ultra, primo chip a quattro die (due M5 Max uniti da UltraFusion), fino a 36 core CPU, 80 core GPU e 512GB di memoria unificata a 1,2 TB/s. Pensato per modelli frontier-class in locale: MoE da centinaia di miliardi di parametri e RAG su corpora enormi, senza cloud. Il clustering RDMA di più unità porta fino a 3× l'inferenza distribuita.
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
Framework d'apprentissage automatique d'Apple pour Apple Silicon : arrays avec calcul paresseux sur CPU et GPU unifiées, mémoire unifiée comme atout. La bibliothèque mlx-lm apporte entraînement, fine-tuning (LoRA/QLoRA) et inférence de LLM directement sur Mac.
Runtime Swift/MLX pour la reconnaissance vocale en flux de Kyutai sur Apple Silicon. Le point de contrôle de référence est le STT-1B (anglais et français) en INT8/FP16, avec encodeur Mimi causal (32 codes audio toutes les 80 ms). Supporte les exports INT4/INT8. Licence des poids CC-BY-4.0.
Framework de fine-tuning optimisé pour GPU NVIDIA et Apple Silicon : matrices custom en CUDA qui réduisent l'usage de mémoire et doublent la vitesse d'entraînement par rapport aux méthodes standard. Supporte LLM et modèles de diffusion.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
