Distribuire il carico: Come Salesforce ha soddisfatto i requisiti Multi-AZ HA con i Componenti SageMaker Inference
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Salesforce sfrutta il componente di posizionamento Amazon SageMaker AI Inference per distribuire copie del modello across più Availability Zones, soddisfacendo i requisiti di alta disponibilità Multi-AZ senza sacrificare l'efficienza dei costi del multi-model co-hosting.
Salesforce ha utilizzato il componente di posizionamento Amazon SageMaker AI Inference per distribuire copie del modello across più Availability Zones (la SchedulingConfig parameter). Questo approccio soddisfa i requisiti di alta disponibilità Multi-AZ mantenendo l'efficienza dei costi del multi-model co-hosting. Il parametro SchedulingConfig consente la distribuzione di copie del modello across zone, fornendo resilienza contro i guasti a livello di zona.