Répartir la charge : Comment Salesforce a respecté le Multi-AZ HA avec les Composants SageMaker Inference
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Salesforce utilise le placement du composant Amazon SageMaker AI Inference Component pour distribuer les copies de modèle sur plusieurs Availability Zones, répondant aux exigences de conformité Multi-AZ haute disponibilité sans sacrifier l'efficacité coûteuse du multi-model co-hosting.
Salesforce a utilisé le placement du composant Amazon SageMaker AI Inference Component (le paramètre SchedulingConfig) pour distribuer les copies de modèle sur plusieurs Availability Zones. Cette approche répond aux exigences de haute disponibilité Multi-AZ tout en maintenant l'efficacité coûteuse du multi-model co-hosting. Le paramètre SchedulingConfig permet la distribution des copies de modèle sur les zones, offrant une résilience contre les pannes au niveau de la zone.