OpenAI et Anthropic ont évalué leurs modèles respectifs et livrent un classement - ZDNET

Guillaume Serries - ZDNet - 01/09
Les résultats montrent que les modèles de raisonnement ne sont pas toujours plus performants que les modèles classiques. Et que les principales lacunes de sécurité sont identifiées.

A retenir

  • Anthropic et OpenAI ont effectué leurs propres tests sur leurs modèles respectifs.
  • Les deux entreprises ont publié leurs résultats dans deux rapports distincts.
  • L'objectif était d'identifier les lacunes afin de créer des modèles plus performants et plus sûrs.

La course à l'IA bat son plein et chaque jour voit arriver un produit toujours plus performant. Naturellement, cela soulève des inquiétudes quant à la rapidité des évaluations de sécurité effectuées. De quoi compromettre la qualité des évaluations. Un échange d'évaluations inédit entre OpenAI et Anthropic vise à remédier à ce problème.

Les deux entreprises ont effectué leurs propres évaluations internes de sécurité et de désalignement sur leurs modèles respectifs. Mercredi dernier, OpenAI et Anthropic ont publié des rapports détaillés détaillant leurs conclusions, examinant la performance des modèles dans des domaines tels que l'alignement, la flagornerie et les hallucinations afin d'identifier les lacunes.

Une collaboration nécessaire

Ces évaluations montrent comment des entreprises concurrentes peuvent collaborer pour atteindre les objectifs de création de modèles d'IA sûrs. Plus important encore, elles permettent de mettre en lumière l'approche interne d'évaluation des modèles de chaque entreprise, en identifiant les points faibles initialement ignorés par l'autre.

« Cette collaboration rare est désormais une nécessité stratégique. Le rapport souligne que pour les géants de l'IA, le risque partagé d'un portefeuille de produits d'IA de plus en plus puissant l'emporte désormais sur les avantages immédiats d'une concurrence effrénée », a déclaré Chirag Dekate, analyste chez Gartner. Cela dit, Dekate a également souligné les implications politiques, qualifiant les rapports de « tentative sophistiquée de cadrer le débat sur la sécurité selon les propres termes de l'industrie.

Comme les deux rapports sont volumineux, nous les avons lus et avons compilé ci-dessous les principales conclusions de chacun, ainsi que les analyses d'experts du secteur.

Rapport d'OpenAI sur les modèles Anthropic

OpenAI a évalué les derniers modèles d'Anthropic, Claude Opus 4 et Claude Sonnet 4. OpenAI précise que cette évaluation n'a pas po...
[Courte citation de 8% de l'article original]

Loading...