Les progrès de l’IA sont souvent définis en termes de capacité et d’efficacité des modèles. En réalité, chaque pipeline de formation repose en fin de compte sur une couche de données qui détermine le comportement de ces modèles.
À mesure que les systèmes agents deviennent plus autonomes, les données sur lesquelles ils sont formés déterminent de plus en plus ce qu’ils savent, comment ils raisonnent et ce qu’ils peuvent faire en toute sécurité. Pourtant, une grande partie des données de formation actuelles restent opaques, fragmentées ou cloisonnées entre les équipes.
L’accès aux données ouvertes change cette équation. Il offre aux développeurs un moyen plus rapide et plus rentable de créer des modèles de haute qualité, tout en facilitant l'évaluation et l'amélioration dans l'ensemble de l'écosystème. C'est pourquoi NVIDIA publie des ensembles de données ouverts parallèlement à ses modèles ouverts, ses outils et ses techniques de formation.
La création d’ensembles de données de haute qualité reste l’un des principaux obstacles au développement de l’IA. Les organisations dépensent souvent des millions de dollars et des mois, voire plus d'un an, à collecter, annoter et valider des données avant le début d'une formation sur un modèle unique. Même lorsque les modèles sont déployés, l’accès à l’expertise du domaine et aux cadres d’évaluation reste un défi permanent.
NVIDIA vise à réduire ces frictions en publiant des ensembles de données sous licence permissive sur HuggingFace avec des recettes de formation et des cadres d'évaluation sur GitHub sur lesquels les développeurs peuvent s'appuyer immédiatement. À ce jour, nous avons partagé plus de 2 pétaoctets de données de formation prêtes pour l'IA sur plus de 180 ensembles de données et plus de 650 modèles ouverts. Et nous ne faisons que commencer.
Les versions de données ouvertes de NVIDIA couvrent plusieurs domaines, de la robotique et des systèmes autonomes à l'IA souveraine, à la biologie et aux références d'évaluation. Construits par des équipes de NVIDIA, ces ensembles de données démontrent ...
[Courte citation de 8% de l'article original]