Ce chercheur a une nouvelle façon de mesurer les performances de l’IA. C'est littéralement de la BS.

Un nouveau benchmark de l'IA pose une question d'une simplicité trompeuse : les machines peuvent-elles savoir quand quelque chose est, eh bien, BS ?

Peter Gostev, responsable des capacités d'IA au sein de la société d'évaluation de modèles Arena, a récemment créé "BullshitBench", une suite de questions délibérément absurdes conçues pour tester si les grands modèles de langage repousseront ou avanceront en toute confiance sans repérer le BS. Depuis son lancement fin février, le projet a rapidement gagné du terrain, accumulant plus de 1 200 étoiles sur GitHub.

Le principe est simple. Les modèles sont présentés avec des invites qui semblent techniques mais s'effondrent sous un examen minutieux. C’est ce qui a attiré mon attention au début, car les questions sont hilarantes et – pour un journaliste – immédiatement évidentes comme un non-sens. C'est l'un des métiers essentiels de notre profession, il est donc amusant de voir comment les sociétés d'IA les plus puissantes gèrent ce genre de choses.

Questions les plus drôles

L'une de m...
[Courte citation de 8% de l'article original]