Apple Introduit le Pipeline IDEA Prune pour l'Entraînement Efficace de Modèles Linguistiques Génératifs
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Les pipelines d'élagage structuré montrent des promesses d'efficacité de tokens par rapport à l'entraînement de modèles de taille cible à partir de zéro, prônant l'incorporation d'un prétrainement de modèle agrandi.
Des avancées récentes dans les grands modèles de langage ont intensifié le besoin de modèles efficaces et déployables dans des budgets d'inférence limités. Les pipelines de élagage structuré ont montré des promesses d'efficacité de tokens par rapport à l'entraînement de modèles de taille cible à partir de zéro. Dans cet article, nous prônons l'incorporation d'un prétrainement de modèle agrandi pour améliorer l'efficacité. Le pipeline IDEA Prune intègre les étapes d'agrandissement et d'élagage pour obtenir une meilleure efficacité de tokens dans l'entraînement de modèles linguistiques génératifs.
Read the original source at Apple Machine Learning Research ↗