Riduci i costi e la latenza degli LLM self-hosted con l'abilità distribuita dell'agente di caching KV.
I modelli linguistici di grandi dimensioni (LLM) self-hosted su GPU comportano costi di ricalcolo per lo stesso contesto ad ogni turno.
Documento originale: AWS Machine Learning Blog ↗