Pendant que vous construisez un LLM, vous l'évaluez encore et encore à travers de nombreuses interventions. Chaque ajustement de ses données, de son architecture ou de ses hyperparamètres - et chaque augmentation d'échelle - vous renvoie dans la même boucle : ajouter ou reconfigurer des tests de référence, les réexécuter à chaque nouveau point de contrôle du modèle, noter les résultats et vérifier si quelque chose qui a aidé dans une petite expérience tient toujours pendant toute la durée de la formation.
La plupart des outils d'évaluation ne sont pas conçus pour cela : ils sont soit conçus pour exécuter des tests de référence établis sur des modèles finis, soit pour exécuter un modèle via des problèmes en plusieurs étapes utilisant des outils dans un bac à sable. Ils ne suivent pas un modèle en constante évolution et ne reflètent pas non plus la façon dont un modèle pourrait se comporter dans des conditions réelles spécifiques.
Notre dernier projet pour relever ce défi d'évaluation était OLMES, l'Open Language Model Evaluation Standard. Introduit en 2024, il visait à faciliter la comparaison des scores de référence LLM entre les versions. Les mêmes modèles étaient notés de différentes manières sur les mêmes critères – des aspects tels que le formatage rapide et la formulation des tâches variaient souvent d'un papier à l'autre – de sorte que les affirmations sur les modèles les plus performants n'étaient souvent pas reproductibles. OLMES a inscrit les choix d'analyse comparative dans une norme ouverte et documentée, et est devenu la base pour évaluer nos modèles ouverts d'Olmo à Tulu.
Mais la note finale d'un modèle n'est qu'une partie du processus d'évaluation. C'est ...
[Courte citation de 8% de l'article original]