Vai al contenuto principale
← Torna alle notizie

Bonsai-2 27B: ragionamento 27B ternario che gira su un laptop

Nuovi modelli
Fonte:Hugging Face
Prism ML pubblica Bonsai-2 27B in GGUF: un modello di ragionamento da 27B con pesi ternari a 1,72 bit per peso, 5,95 GB e contesto da 262K Token, che mantiene il 98,2% dell'intelligenza FP16 e arriva a ~47 tok/s su un laptop Apple M5 Max.
Leggi l'articolo originale

Articoli correlati

MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM

Il primo MoE open da 35B (3B attivi) che gira fluido su smartphone: 13+ tok/s con 3 GB di RAM su iPhone 17 Pro Max, OCR, video e GGUF Q4_K_M da 21,8 GB per il desktop. I numeri, le tre tecniche e i limiti.

gpt-oss: il modello di ragionamento open di OpenAI

21B di parametri totali ma solo 3,6B attivi, pesi nativi in MXFP4 e 128K di contesto: il primo modello di ragionamento open di OpenAI sta in 16GB. Cosa significa in pratica.

Llama 3 e Llama 4: la famiglia open di Meta, quale modello gira sul vostro hardware

Dalla 3.1 8B alla 4 Scout MoE con contesto da 10M: la famiglia Llama in tabella, cosa gira su 16, 48 e 128 GB di RAM, la licenza Community tradotta per l'azienda italiana e la scelta per budget.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

🌱

Bonsai-2 27B

Modelli

Modello di ragionamento da 27B con pesi ternari a 1,72 bit per peso, derivato da Qwen3.8-27B con attenzione ibrida (~75% lineare). In GGUF PTQ1_0 occupa 5,95 GB, mantiene il 98,2% dell'intelligenza FP16 e arriva a ~47 tok/s su un laptop Apple M5 Max, con contesto da 262K token. Licenza Apache 2.0. Richiede la fork llama.cpp di Prism ML (i kernel ternari non sono in llama.cpp stock).

💻

Apple M4 Max

Hardware

Chip Apple Silicon con prestazioni eccezionali per sviluppo mobile e inferenza edge.

💻

Apple M5 Max

Hardware

Il chip Apple Silicon di punta per l'IA locale: 18 core CPU e 40 core GPU con memoria unificata fino a 128GB a 614 GB/s. Il Neural Accelerator su ogni core GPU raddoppia la velocità dei modelli MoE in decode rispetto alla generazione M4: ~88 tok/s su gpt-oss-120b, il più veloce della classe.

💻

LM Studio

Software

App desktop senza terminale per scaricare ed eseguire modelli GGUF: interfaccia grafica, ricerca modelli integrata e server locale. La via più semplice per iniziare.

Sfoglia tutte le risorse