IDEA Prune: Una pipeline integrata di Enlarge-and-Prune nel Pretraining dei Modelli Linguistici Generativi
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
I recenti progressi nei grandi modelli linguistici hanno intensificato la necessità di modelli efficienti e distribuibili entro budget di inferenza limitati. Pipeline di potatura strutturata hanno mostrato promesse di efficienza dei token rispetto al training di modelli target-size da zero.
Il pretraining dei grandi modelli linguistici si è evoluto per affrontare sfide di efficienza. Il pipeline IDEA Prune introduce un approccio integrato di enlarge-and-prune che migliora l'efficienza dei token rispetto al training di modelli target-size da zero, offrendo un percorso verso modelli generativi linguistici più distribuibili entro budget di inferenza limitati.
Read the original source at Apple Machine Learning Research ↗