Strumenti, framework e modelli per l'IA locale
3 risorse trovate per "GPU"
Tool open source che stima la velocità di inferenza di un modello locale su oltre 250 configurazioni hardware (GPU, Mac, CPU): stime misurate da benchmark della community o derivate da setup simili. Serve a scegliere l'hardware prima di acquistarlo.
Guida online che incrocia modelli open-weights e hardware reale: per ogni GPU, Mac e mini-PC mostra cosa gira, quanto spazio serve e a quanti token al secondo, con guide su quantizzazione e memoria. Lo strumento giusto per la via dell'hardware proprio.
App macOS di dettatura 100% locale: trascrizione con Whisper sul dispositivo e riscrittura con un LLM locale (Qwen) sulla GPU M-series. Il testo arriva nell'app target; nessun dato passa dal cloud.
