Amazon SageMaker AI real-time endpoints ora supportano il routing KV cache aware.
· Sintesi assistita da IA · approvata da Reinventy Solutions Corp.

Amazon SageMaker AI real-time endpoints ora supportano il routing basato sulla KV cache, che indirizza le richieste all'istanza con la corrispondenza di prompt in cache più lunga.
