Strumenti, framework e modelli per l'IA locale
3 risorse trovate per "QLoRA"
Framework open source per il fine-tuning unificato di 100+ LLM e VLM (Qwen, Llama, Mistral, Gemma): da SFT completo a LoRA, QLoRA e DPO, con WebUI integrata e avvio da un singolo file YAML. Progetto di riferimento della community (ACL 2024).
Framework di machine learning di Apple per Apple Silicon: array con calcolo lazy su CPU e GPU unificate, memoria unificata a favore. La libreria mlx-lm porta addestramento, fine-tuning (LoRA/QLoRA) e inferenza di LLM direttamente su Mac.
Framework di fine-tuning ottimizzato per GPU NVIDIA e Apple Silicon: matrici custom in CUDA che riducono l'uso di memoria e raddoppiano la velocità di addestramento rispetto ai metodi standard. Supporta LLM e modelli di diffusione.
