Réduisez les coûts et la latence des LLM auto-hébergés grâce à la fonctionnalité d'agent de cache KV distribué.
Les LLM auto-hébergés sur GPU engendrent des coûts de recalcul pour le même contexte à chaque tour.
Document original: AWS Machine Learning Blog ↗