Grande nouvelle! Huawei libère le modèle quasi-million

Grande nouvelle! Huawei libère le modèle quasi-million

Huawei a récemment lancé le modèle Pangu Ultra MOE avec une échelle de paramètres allant jusqu'à 718 milliards, ce qui est un modèle MOE quasi-million formé sur la plate-forme informatique Ascende AI. En réponse au défi de former des modèles MOE à l'échelle super-élargie, l'équipe de Pangu a effectué des conceptions innovantes dans l'architecture des modèles et les méthodes de formation pour réaliser une formation complète. La publication de ce modèle prouve que Huawei peut former et optimiser efficacement les modèles clairsemés de manière efficace et stable sur la plate-forme de puissance de calcul AI domestique, réalisant une boucle fermée de "domestique complète" et "indépendante et contrôlable tout au long du processus". Les initiés de l'industrie ont analysé que cela apporte un fort soutien au développement de l'industrie de l'intelligence artificielle de la Chine.

Rédacteur en chef de la revue économique | Zhang Jinhe

Selon le Securities Times du 30 mai, Huawei a récemment fait un pas plus loin dans le domaine de la formation du modèle MOE et a lancé un nouveau modèle avec une échelle de paramètres allant jusqu'à 718 milliards - Pangu Ultra Moe, qui est un modèle MOE quasi-trimestré formé sur la plate-forme d'informatique ASCEND AI dans l'ensemble. Huawei a également publié un rapport technique sur l'architecture et les méthodes de formation du modèle Pangu Ultra Moe, révé...
[Courte citation de 8% de l'article original]