Riduci i cold start di inferenza su Amazon SageMaker HyperPod con la memorizzazione nella cache dei modelli.
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Amazon SageMaker HyperPod supporta ora la memorizzazione nella cache dei modelli per l'inferenza, precaricando i pesi del modello e le immagini dei container sui nodi del cluster per l'accesso allo storage NVMe locale.
Amazon SageMaker HyperPod supporta ora la memorizzazione nella cache dei modelli per l'inferenza, precaricando i pesi del modello e le immagini dei container sui nodi del cluster per consentire ai pod di leggere dall'archiviazione NVMe locale invece di scaricare tramite la rete.