PagedAttention

Tecnica di gestione della memoria introdotta da vLLM: la memoria del KV cache viene allocata in piccoli blocchi (pagine) anziché in un unico spazio contiguo, come fa un sistema operativo con la memoria virtuale. Elimina frammentazione e spreco di memoria e permette a più richieste concorrenti di condividere la stessa GPU.