Réduisez les démarrages à froid de l'inférence sur Amazon SageMaker HyperPod grâce à la mise en cache des modèles
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Amazon SageMaker HyperPod prend désormais en charge la mise en cache des modèles pour l'inférence, préchargeant les poids des modèles et les images de conteneurs sur les nœuds de cluster pour un accès local au stockage NVMe.
Amazon SageMaker HyperPod prend désormais en charge la mise en cache de modèles pour l'inférence, préchargeant les poids de modèle et les images de conteneur sur les nœuds de cluster afin que les pods puissent lire depuis le stockage NVMe local au lieu de télécharger via le réseau.