Le raisonnement de pointe atteint la périphérie : comment déployer et optimiser les modèles sur NVIDIA Jetson
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Exécuter un raisonnement et une IA agente à la périphérie a toujours été plus difficile qu'il n'y paraît. Jusqu'à récemment, les modèles capables de raisonnement multi-étapes étaient trop volumineux pour être exécutés.
Exécuter un raisonnement et une IA agente à la périphérie a toujours été plus difficile qu'il n'y paraît. Jusqu'à récemment, les modèles capables de raisonnement multi-étapes étaient trop volumineux pour être exécutés. Des chercheurs de NVIDIA ont créé un modèle de langage capable de raisonnement multi-étapes qui tient sur un Jetson. Ce modèle est créé à partir de principes de première intention, entraîné avec des données synthétiques et affiné par des chercheurs de NVIDIA. Il peut être déployé sur des systèmes Jetson pour permettre des agents IA capables de raisonnement complexe à la périphérie. Cette percée permet de nouvelles catégories d'applications, notamment la robotique, la vision par ordinateur et l'IA conversationnelle, qui nécessitaient auparavant des ressources cloud. Le modèle est disponible sous forme de conteneur NVIDIA NIM et de microservice, et peut être exécuté sur des systèmes Jetson Nano, Jetson Orin et Jetson AGX Orin. Les développeurs peuvent commencer dès maintenant en téléchargeant le modèle depuis le hub NVIDIA NGC et en l'exécutant sur des systèmes Jetson prenant en charge Docker. Bien que le modèle soit capable de raisonnement multi-étapes, les performances varient selon la charge de travail et le système Jetson. Les développeurs doivent tester leurs applications spécifiques pour s'assurer que les performances répondent à leurs exigences.