Quels jetons un modèle hybride prédit-il le mieux ?

Quels types de jetons un modèle prédit-il bien, et lesquels ne le sont pas ? Cette question est particulièrement intrigante dans le cas des hybrides, une architecture de modèle de langage qui commence à remettre en question le transformateur standard et que nous étudions avec Olmo Hybrid.

Les hybrides peuvent égaler ou battre les transformateurs sur des critères de référence standard, mais les chiffres principaux ne révèlent pas grand-chose sur les avantages spécifiques des modèles hybrides par rapport aux transformateurs.

Pour tenter de faire la lumière sur ces comportements au niveau des jetons, nous avons récemment mené des expériences comparant notre propre transformateur 7B le plus puissant, Olmo 3, et notre modèle hybride, Olmo Hybrid, face à face. Plus précisément, nous comparons les différences dans les prédictions du modèle de manière fine entre différents types de jetons ou d'unités d'informations qui apparaissent en entrée d'un LLM.

Étant donné qu'Olmo 3 et Olmo Hybrid ont été conçus pour être aussi semblables que possible en dehors de leurs architectures – étroitement liées en termes de données, de tokenizer et de recette de formation – toute différence dans leurs prédictions reflète principalement l'architecture elle-même. L’examen de ces différences au niveau symbolique nous permet de mieux comprendre les atouts spécifiques des modèles hybri...
[Courte citation de 8% de l'article original]