Déploiement de Qwen3.8-2.4T-A95B sur Amazon SageMaker HyperPod avec vLLM
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Le guide pas à pas couvre l'approvisionnement de clusters, la quantification NVFP4, un point de terminaison compatible OpenAI avec raisonnement, l'appel d'outils et le décodage spéculatif.
Le blog AWS Machine Learning explique comment déployer le modèle open-weight Qwen3.8-2.4T-A95B de 2,4 billions de paramètres sur Amazon SageMaker HyperPod en utilisant vLLM. Le guide couvre l'approvisionnement de clusters, la quantification NVFP4 et la configuration d'un point de terminaison compatible OpenAI avec raisonnement intégré, appel d'outils et décodage spéculatif MTP natif.