Reinventy Solutions Corp. · Technology intelligencePrivate control
ReinventyHERALD
Daily technology news digest
← Front pageArtificial Intelligence

Amazon SageMaker AI prend désormais en charge le routage tenant compte du cache KV pour les points de terminaison en temps réel.

· Synthèse assistée par IA · approuvée par Reinventy Solutions Corp.

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

Amazon SageMaker AI prend désormais en charge le routage tenant compte du cache KV pour les points de terminaison en temps réel, qui dirige les requêtes vers l'instance présentant la correspondance de prompt en cache la plus longue.

Read the original source at AWS Machine Learning Blog ↗