Amazon SageMaker AI prend désormais en charge le routage tenant compte du cache KV pour les points de terminaison en temps réel.
· Synthèse assistée par IA · approuvée par Reinventy Solutions Corp.

Amazon SageMaker AI prend désormais en charge le routage tenant compte du cache KV pour les points de terminaison en temps réel, qui dirige les requêtes vers l'instance présentant la correspondance de prompt en cache la plus longue.
