IDEA Prune : Un pipeline intégré d'enlèvement et de taille dans la pré-formation de modèles génératifs de langage
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Les récentes avancées dans les grands modèles de langage ont intensifié le besoin de modèles efficaces et déployables dans des budgets d'inférence limités. Les pipelines de taille structurés ont montré des promesses d'efficacité des tokens par rapport à l'entraînement de modèles à taille cible à partir de zéro.
La pré-formation de grands modèles de langage a évolué pour répondre aux défis d'efficacité. Le pipeline IDEA Prune introduit une approche intégrée d'enlèvement et de taille qui améliore l'efficacité des tokens par rapport à l'entraînement de modèles à taille cible à partir de zéro, offrant un chemin vers des modèles de langage génératif plus déployables dans des budgets d'inférence limités.
Read the original source at Apple Machine Learning Research ↗