Vai al contenuto principale
← Torna alle notizie

OnTrack: monitoraggio e intervento in tempo reale sulle traiettorie degli agenti LLM

Agenti AI
Fonte:arXiv
Un metodo per monitorare e intervenire in tempo reale sulle traiettorie degli agenti LLM, usando un trasporto ottimale strutturale su streaming: evita i costi e la Latenza di un agente di salvaguardia a ogni passo, restando proattivo invece di esaminare i log a posteriori.
Leggi l'articolo originale

Articoli correlati

Agenti ML che girano in locale: MLExpert ed EpochGo su Ollama, costi API zero

MLExpert alza l'asticella a 35B e 72,7% di medaglie; EpochGo porta tre agenti AutoML su un 16 GB, zero API: cosa funziona oggi, i conti e i limiti.

Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello

Da zero al primo modello che risponde: cosa ti serve davvero, Ollama passo per passo, come scegliere il modello per la tua memoria, la velocità attesa per hardware e i problemi tipici con le soluzioni.

Costi: locale vs API, fatto coi numeri

Quanto costa davvero il locale rispetto a una API cloud? Prezzi per token verificati, ammortamento GPU, elettricità e il punto di pareggio, calcolato con i numeri.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

🌱

Bonsai-2 27B

Modelli

Modello di ragionamento da 27B con pesi ternari a 1,72 bit per peso, derivato da Qwen3.8-27B con attenzione ibrida (~75% lineare). In GGUF PTQ1_0 occupa 5,95 GB, mantiene il 98,2% dell'intelligenza FP16 e arriva a ~47 tok/s su un laptop Apple M5 Max, con contesto da 262K token. Licenza Apache 2.0. Richiede la fork llama.cpp di Prism ML (i kernel ternari non sono in llama.cpp stock).

⚡

DeepSeek V4.1 Flash

Modelli

Modello MoE di DeepSeek con 552B di parametri totali e 8-16B attivi per token. Contesto da 1M di token, licenza MIT: uso commerciale libero. Pensato per il serving in linea, troppo grande per un uso locale su un singolo PC.

💎

Gemma 3

Modelli

Famiglia di modelli open di Google nelle taglie 1B, 4B, 12B e 27B. Contesto di 128K token, oltre 140 lingue supportate e input multimediali (testo e immagini). Ottima scelta per RAG e documenti lunghi su hardware consumer.

💎

Gemma 3 4B

Modelli

La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.

Sfoglia tutte le risorse