Le plafond des mathématiques de l'IA est-il venu? Le nouveau modèle de Deepseek est discret et open-source, et les internautes directement appelés: R2 approche à grands pas!

Deepseek-Prover-V2-671B utilise l'architecture Deepseek-V3, un modèle de langue large se concentrant sur la preuve du théorème mathématique, avec des paramètres jusqu'à 671 milliards, adopte le modèle MOE, avec une couche de transformateur 61 couche et une couche cachée 7168-dimension. La version V3-0324 publiée en mars a été considérée par l'industrie comme le modèle de base du futur R2, et les capacités de code de cette version ont été considérablement améliorées par rapport à cette version.

Tout comme tout le monde attendait avec impatience l'annonce officielle de Deepseek du modèle R2, la société a abandonné de manière inattendue une autre bombe technique à la veille du 1er mai.

Le 30 avril, Deepseek a ouvert discrètement la source de son dernier modèle - Deepseek-Prover-V2-671B, un grand modèle de langue se concentrant sur la preuve du théorème mathématique, spécifiquement optimisé pour les tâches formelles de preuve mathématique.

Deepseek-Prover-V2-671B utilise l'architecture Deepseek-V3, avec des paramètres jusqu'à 671 milliards, adopte le mode MOE (expert hybride), avec une couche de transformateur 61 couches et une couche cachée 7168 dimensionnelle.

L...
[Courte citation de 8% de l'article original]