Génération d'assurance qualité synthétique basée sur des tâches pour la pré-formation Nemotron

Dans le développement LLM à grande échelle, la question n’est plus simplement de savoir quelle quantité de données un modèle voit. Il s’agit également de savoir si les données contiennent suffisamment de signaux d’apprentissage structurés. Les données générales Web, de code, mathématiques, multilingues et de domaine fournissent une large base. Des questions et réponses synthétiques basées sur des tâches les complètent en ajoutant des exemples compacts et structurés par tâches avec un besoin d'informations clair, un espace de réponse contraint et des explications qui relient les preuves à une réponse. Dans une expérience de continuation de 100 milliards de jetons sur le modèle Nemotron-3 Nano, SDG basé sur des tâches a amélioré MMLU-Pro de +1,8, le code moyen de +1,9, la compréhension du bon sens de +1,6 et le GPQA de +11,1, tandis que les mathématiques moyennes sont restées stables.

Cet article décrit un flux de travail de génération de questions-réponses synthétiques basé sur des tâches développé pour la formation de la famille Nemotron, y compris les sessions de formation Ultra et Super. Le flux de travail utilise des fractionnements de formation provenant de grandes familles de tâches publiques comme germes de capacités, génère de nouveaux exemples alignés sur des tâches, les enrichit de raisonnements et de connaissances pertinentes, et les filtre dans des ensembles de données synthétiques organisés. Les données d'évaluation et de test retenues sont exclues de la génération. Les recettes de formation en aval peuvent ensuite décider comment mélanger ces ensembles de données avec le corpus plus large.

Figure 1. Le pipeline SDG prédéfini par les tâches se termine par des données générées organisées. La conception du mélange de formation et les évaluations rapportées ont lieu en aval.

TL;DR

• Nous utilisons les divisions de formation aux tâches publiques comme graines de capacités, et non comme exemples à mémoriser.
• Nous encadrons les données grâce à un apprentissage par transfert entre familles de tâches : un modèle peut apprendre des comportements réutilisables à partir de tâches de départ larges, puis les appliquer à des applications et évaluations associées.
• Le pipeline génère des questions similaires et des exemples de réponses enrichis avec un raisonnement et un contexte pertinent pour la tâche.
• Les tâches à choix multiples sont plus faciles à vérifier ; les tâches de génération ouverte nécessitent une extraction et un filtrage spécifiques à la tâche.
• Dans une expérience de continuation de 100 B de jetons sur le modèle Nemotron-3 Nano, le SDG basé sur des tâches a amélioré MMLU-Pro de +1,8, le code moyen de +1,9, la compréhension du bon sens de +1,6 et le GP...
  [Courte citation de 8% de l'article original]