Recherche Apple ML Introduit Pipeline IDEA Prune pour des Modèles Génératifs de Langage Efficaces
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Les pipelines de taille structurée montrent des promesses d'efficacité de token par rapport à l'entraînement de modèles de taille cible à partir de zéro, préconisant l'incorporation d'un prétrainement de modèle agrandi.
Les récentes avancées dans les grands modèles de langage ont intensifié le besoin de modèles efficaces et déployables dans des budgets d'inférence limités. Les pipelines de taille structurée ont montré des promesses d'efficacité de token par rapport à l'entraînement de modèles de taille cible à partir de zéro. L'article préconise l'incorporation d'un prétrainement de modèle agrandi dans le cadre d'une approche de taille structurée pour améliorer l'efficacité des tokens dans les modèles de langage génératifs.
Read the original source at Apple Machine Learning Research ↗