En 2019, un A.I. Le chercheur, François Chollet, a conçu un jeu de puzzle qui était censé être facile pour les humains mais difficile pour les machines.
Le jeu, appelé ARC, est devenu un moyen important pour les experts de suivre les progrès de l'intelligence artificielle et de repousser le récit selon lequel les scientifiques sont au bord de la construction de A.I. technologie qui surpassera l'humanité.
Les puzzles colorés de M. Chollet testent la capacité d'identifier rapidement les modèles visuels basés sur quelques exemples. Pour jouer au jeu, vous regardez attentivement les exemples et essayez de trouver le modèle.
Chaque exemple utilise le motif pour transformer une grille de carrés colorés en une nouvelle grille de carrés colorés:
Le motif est le même pour chaque exemple.
Maintenant, remplissez la nouvelle grille en appliquant le modèle que vous avez appris dans les exemples ci-dessus.
Pendant des années, ces puzzles se sont révélés presque impossibles pour l'intelligence artificielle, y compris des chatbots comme Chatgpt.
A.I. Les systèmes ont généralement acquis leurs compétences en analysant d'énormes quantités de données extraites sur Internet. Cela signifiait qu'ils pouvaient générer des phrases en répétant des concepts qu'ils avaient vues mille fois auparavant. Mais ils ne pouvaient pas nécessairement résoudre de nouveaux puzzles logiques après avoir vu seulement quelques exemples.
C'est-à-dire jusqu'à récemment. En décembre, Openai a déclaré que son dernier A.I. Le système, appelé Openai O3, avait dépassé les performances humaines du test de M. Chollet. Contrairement à la version originale de Chatgpt, O3 a pu passer du temps à considérer différentes possibilités avant de répondre.
Certains l'ont vu comme une preuve que A.I. Les systèmes approchaient de l'intelligence générale artificielle, ou A.G.I., qui décrit une machine aussi intelligente qu'un humain. M. Chollet avait créé ses énigmes comme un moyen de montrer que les machines étaient encore loin de cet objectif ambitieux.
Mais la nouvelle a également exposé les faiblesses des tests de référence comme l'arc, abstraction et de raisonnement corpus. Pendant des décennies, les chercheurs ont établi des jalons pour suivre les progrès de A.I. Mais une fois ces jalons atteints, ils ont été exposés comme des mesures insuffisantes de la véritable intelligence.
Arvind Narayanan, professeur de Princeton en informatique et co-auteur du livre «AI Snake Oil», a déclaré que toute affirmation selon laquelle le test d'arc mesurait les progrès vers A.G.I. était «très incertain».
Pourtant, M. Narayanan a reconnu que la technologie d'Openai avait démontré des compétences impressionnantes pour passer le test d'arc. Certains puzzles ne sont pas aussi faciles que celui que vous venez d'essayer.
Celui ci-dessous est un peu plus difficile, et il a également été correctement résolu par le nouveau A.I. d'Openai. système:
Maintenant, voyez si vous pouvez remplir la grille ci-dessous en utilisant le même modèle indiqué par les exemples ci-dessus.
Un puzzle comme celui-ci montre que la technologie d'Openai s'améliore dans les problèmes de logique. Mais la personne moyenne peut résoudre des énigmes comme celle-ci en quelques secondes. La technologie d'OpenAI a consommé des ressources informatiques importantes pour réussir le test.
En juin dernier, M. Chollet s'est associé à Mike Knoop, co-fondateur de la société de logiciels Zapier, pour créer ce qu'ils ont appelé le prix ARC. La paire a financé un concours qui a promis 1 million de dollars à tous ceux qui ont construit un A.I. Système qui a dépassé les performances humaines sur la référence, qu'ils ont renommée «Arc-Agi».
Les entreprises et les chercheurs ont soumis plus de 1 400 A.I. systèmes, mais personne n'a gagné le prix. Tous ont obtenu un score inférieur à 85%, ce qui a marqué les performances d'un humain «intelligent».
Le système O3 d'OpenAI a correctement répondu 87,5% des puzzles. Mais l'entreprise a entrepris des règles de concurrence car elle a dépensé près de 1,5 million de dollars en coûts d'électricité et informatique pour terminer le test, selon les estimations des prix.
Openai n'était également pas éligible pour le prix ARC car il n'était pas disposé à partager publiquement la technologie derrière son A.I. Système à travers une pratique appelée Sourcing ouvert. Par ailleurs, OpenAI a exécuté une variante «à haute efficacité» d'O3 qui a marqué 75,7% au test et coûter moins de 10 000 $.
"L'intelligence est l'efficacité. Et avec ces modèles, ils sont très loin de l'efficacité au niveau de l'homme", a déclaré M. Chollet.
(Le New York Times a poursuivi Openai et son partenaire, Microsoft, en décembre pour la violation du droit d'auteur du contenu d'actualités lié aux systèmes A.I.).)
Lundi, le prix ARC a présenté une nouvelle référence, ARC-AGI-2, avec des centaines de tâches supplémentaires. Les puzzles sont dans le même format de jeu coloré et en forme de grille que l'indice de référence d'origine, mais sont plus difficiles.
"Ça va être plus difficile pour les humains, toujours très faisable", a déclaré M. Chollet. «Ce sera beaucoup, beaucoup plus difficile pour A.I. - O3 ne résoudra pas ARC-AGI-2.»
Voici un puzzle de la nouvelle référence ARC-AGI-2 que le système d'Openai a essayé et n'a pas réussi à résoudre. N'oubliez pas que le même modèle s'applique à tous les exemples.
Essayez maintenant de remplir la grille ci-dessous selon le modèle que vous avez trouvé dans les exemples:
Cela montre que bien que A.I. Les systèmes sont meilleurs pour faire face aux problèmes qu'ils n'ont jamais vus auparavant, ils ont toujours du mal.
Voici quelques puzzles supplémentaires d'ARC-AGI-2, qui se concentre sur des problèmes qui nécessitent plusieurs étapes de raisonnement:
Alors que OpenAI et d'autres sociétés continuent d'améliorer leur technologie, ils peuvent passer la nouvelle version d'Arc. Mais cela ne signifie pas que A.G.I. sera réalisé.
Juger l'intelligence est subjectif. Il existe d'innombrables indicateurs intangibles de l'intelligence, de la composition des œuvres d'art à la navigation sur les dilemmes moraux aux émotions intumiées.
Des entreprises comme OpenAI ont construit des chatbots qui peuvent répondre aux questions, écrire de la poésie et même résoudre des énigmes logiques. À certains égards, ils ont déjà dépassé les pouvoirs du cerveau. La technologie d'Openai a surpassé son scientifique en chef, Jakub Pachocki, sur un test de programmation compétitif.
Mais ces systèmes font toujours des erreurs que la personne moyenne ne ferait jamais. Et ils ont du mal à faire des choses simples que les humains peuvent gérer.
"Vous chargez le lave-vaisselle, et votre chien vient et commence à lécher la vaisselle. Que faites-vous?" a déclaré Melanie Mitchell, professeur à A.I. au Santa Fe Institute. «Nous savons en quelque sorte faire cela, parce que nous savons tout sur les chiens et les plats et tout ça. Mais un robot à lave-vaisselle savait-il comment faire cela?»
Pour M. Chollet, la capacité d'acquérir efficacement de nouvelles compétences est quelque chose qui vient naturellement aux humains mais fait toujours défaut dans A.I. technologie. Et c'est ce qu'il a ciblé avec les repères ARC-AGI.
En janvier, le prix ARC est devenu une fondation à but non lucratif qui sert de «North Star pour A.G.I.» L'équipe du prix ARC s'attend à ce que Arc-AGI-2 dure environ deux ans avant qu'il ne soit résolu par A.I. La technologie - bien qu'ils ne seraient pas surpris si cela se produisait plus tôt.
Ils ont déjà commencé à travailler sur Arc-AGI-3, qu'ils espèrent faire leurs débuts en 2026. Une maquette précoce indique un puzzle qui implique d'interagir avec un jeu dynamique basé sur la grille.
A.I. Le chercheur François Chollet a conçu un jeu de puzzle destiné à être facile pour les humains mais difficile pour les machines.
Kelsey McClellan pour le New York Times
Début de maquette pour Arc-AGI-3, une référence qui pourrait impliquer d'interagir avec un jeu dynamique basé sur la grille.
ARC Prize Foundation
C'est un pas plus près de ce que les gens gèrent dans le monde réel - un endroit rempli de mouvement. Il ne ressemble pas à des puzzles que vous avez essayés ci-dessus.
Même cela, cependant, ne fera qu'une partie du chemin vers le spectacle lorsque les machines ont dépassé le cerveau. Les humains naviguent dans le monde physique - pas seulement le numérique. Les poteaux d'objectif continueront de changer en tant qu'A.I. avances.
"S'il n'est plus possible pour des gens comme moi de produire des repères qui mesurent des choses faciles pour les humains mais impossibles pour A.I.", a déclaré M. Chollet, "alors vous avez A.G.I."