Problèmes structurels dans l’analyse comparative de l’IA et arguments en faveur d’un cadre d’évaluation unifié

1. Limites de l’écosystème actuel de référence en IA

Depuis mars 2026, le paysage de l’évaluation des modèles d’IA souffre de plusieurs problèmes structurels.

Saturation de référence. Les scores MMLU sont passés de 70 % en 2022 à plus de 90 % en 2025, éliminant ainsi le pouvoir discriminatoire entre les modèles frontières. Les 10 meilleurs modèles se situent désormais dans un écart de 2 %, ce qui est statistiquement impossible à distinguer. Le domaine a réagi en migrant vers des références plus strictes (GPQA Diamond, HLE, ARC-AGI-2), mais chacune fonctionne de manière indépendante, fragmentant l'image de « l'intelligence globale » d'un modèle à travers des classements déconnectés.

Opacité de la source. La plupart des classements publient les scores autodéclarés des fournisseurs sans vérification indépendante. Au cours de notre processus de vérification croisée, nous avons découvert des écarts importants :

• Claude Opus 4.6 ARC-AGI-2 : répertorié à 37,6 % dans certains classements → valeur vérifiée 68,8 % (confirmé par Vellum, NxCode, DataCamp — trois sources indépendantes)
• Gemini 3.1 Pro ARC-AGI-2 : répertorié comme 88,1 % → réel 77,1 % selon la carte modèle Google DeepMind et arcprize.org
• GPT-5.3 Codex SWE-Pro : répertorié comme 78,2 % → confusion avec le score SWE-Verified. Le SWE-Pro réel est de 57,0 %

Ce ne sont pas des fautes de frappe. Ils proviennent de problèmes structurels : confusion des noms de référence (SWE-bench Verified vs. SWE-bench Pro), confusion de...
[Courte citation de 8% de l'article original]