En 2017, un ami a dit à un philosophe politique de 33 ans, Iason Gabriel, qu'il devrait postuler pour un emploi chez DeepMind, la filiale londonienne de Google où était concentrée une grande partie de ses recherches sur l'IA. La suggestion n’était pas évidente.
Gabriel était un jeune universitaire joyeux mais intense, passionné par la méditation Vipassana et ce que son frère appelle l'escalade « enthousiaste ». Fils aîné d'un professeur de gestion grec et d'un documentariste britannique, Gabriel partage son temps entre l'enseignement et le développement international. À l’Université d’Oxford, où il était membre du St John’s College, Gabriel a enseigné des cours de théorie politique et a rédigé des articles sur les contorsions morales de « l’éthique yuppie » et les angles morts éthiques de l’altruisme efficace. Lorsqu’il n’était pas là-bas, il effectuait un travail de crise pour le Programme des Nations Unies pour le développement au Soudan et au Liban.
DeepMind, quant à lui, était le premier laboratoire de recherche en IA au monde. Cela s’explique en partie par le soutien financier et informatique de Google, qui avait racheté l’entreprise en 2014 pour 650 millions de dollars. C’était en partie parce que DeepMind avait récemment montré qu’il pouvait utiliser ces ressources à des fins étonnantes. À Séoul, en 2016, un système DeepMind appelé AlphaGo a battu Lee Sedol, un champion sud-coréen de Go, dans un match de cinq matchs. La victoire était significative, notamment en raison de la complexité légendaire du Go ; le jeu a plus de configurations possibles qu'il n'y a d'atomes dans l'univers.
Grâce au bruit autour d'AlphaGo, Gabriel connaissait DeepMind. Pourtant, il trouvait la suggestion de son ami déroutante : pourquoi une entreprise qui fabriquait des robots joueurs avait-elle besoin d’un éthicien ? La réponse, comme il l’a vite appris, était que l’entreprise avait des objectifs bien plus élevés que Go. DeepMind a été fondée en 2010 par trois hommes – Demis Hassabis, Shane Legg et Mustafa Suleyman – qui pensaient qu'il devait être possible de développer l'intelligence générale artificielle, ou AGI. Ils entendaient par là des systèmes informatiques capables d’égaler, voire de surpasser, les capacités cognitives humaines. Lorsqu’ils ont créé l’entreprise, cette opinion n’était pas très répandue : parler d’IA, et encore moins d’AGI, était considéré par beaucoup comme un signe fatal de manque de sérieux. Hassabis, Legg et Suleyman ne se sont pas laissé décourager. Leur ambition, comme ils aimaient le dire, était de « résoudre le renseignement, puis de résoudre tout le reste ».
Pour les fondateurs de DeepMind, il était clair qu’une telle réussite aurait de vastes conséquences. En 1999, alors que Legg sortait tout juste de l’université, il estimait que l’AGI arriverait quelque part entre 2025 et 2028, une prédiction qu’il a maintenue malgré de nombreuses moqueries pendant trois décennies. Dans sa thèse, achevée en 2008, il insistait sur le fait que la société ne pouvait pas se permettre d’attendre que l’AGI soit techniquement réalisable pour étudier ses effets : « Nous devons travailler sérieusement sur ces choses maintenant. » Plus récemment, Legg m'a dit qu'il était « évident » pourquoi l'entreprise avait besoin de personnes comme Gabriel dans son équipe : « Si vous créez un widget et que cela ne va probablement pas changer le monde, alors peut-être que vous n'avez pas besoin d'un philosophe moral. Mais si vous prenez AGI au sérieux, alors je ne vois pas vraiment comment vous ne considéreriez pas ce genre de chose comme important.
Après avoir débuté chez DeepMind en 2017, Gabriel a été, pendant un certain temps, le seul philosophe actif travaillant dans un laboratoire d'IA frontalier. Il découvre rapidement que sa formation en philosophie morale et en théorie politique lui donne une perspective inhabituelle dans une industrie dominée par les ingénieurs. Au cours de la dernière décennie, il a rassemblé un ensemble de travaux qui ont suivi, et dans de nombreux cas prédit, les défis éthiques créés par le succès surprenant des grands modèles de langage (LLM).
Comme me l'a dit Dylan Hadfield-Menell, qui dirige le groupe d'alignement algorithmique au MIT, Gabriel était "la bonne personne pour le moment. Alors que le domaine était prêt à mûrir et à passer aux heures de grande écoute, il a trouvé un moyen d'élargir les horizons sans attaquer ou dénigrer le travail précédent".
Plus généralement, Gabriel a été l’un des principaux défenseurs de l’idée selon laquelle la vague actuelle de développement de l’IA exige non seulement de nouveaux vocabulaires techniques, mais également de nouvelles façons de penser notre relation à la technologie, et même à nous-mêmes. Comme il me l'a dit récemment, dans l'une des nombreuses longues conversations que nous avons eues au cours des derniers mois, "Je peux prendre n'importe quel artefact technologique et demander : est-il sage ? Est-il juste ? Est-il attentionné ? Et la réponse est non. Mais la profondeur de la question lorsqu'il s'agit de l'IA – y compris quel type d'éthique lui est approprié – est difficile à surestimer. J'ai parfois l'impression qu'il est très difficile de regarder l'IA directement. Il y a là un profond mystère, qui est : mais qu'est-ce que c'est réellement ? Nous J’ai une réponse très littérale, mais la réponse littérale ne semble pas nécessairement fournir une réponse morale.
2 [1341]***
Au moment où Gabriel a rejoint DeepMind, il existait, grosso modo, deux approches distinctes et souvent antagonistes des questions sur les implications sociales et éthiques de l’IA. Ces approches, parfois classées sous les rubriques de la sécurité de l’IA et de l’éthique de l’IA, étaient divisées par un désaccord sur la faisabilité de la technologie.
À l’instar des fondateurs de DeepMind, le groupe chargé de la sécurité de l’IA pensait que l’intelligence artificielle humaine était non seulement possible, mais imminente. La tâche urgente, selon eux, était de s’assurer que les systèmes d’IA ne tournent pas mal. Ils se sont inspirés d’un essai de 1960 de Norbert Wiener, mathématicien et informaticien américain, qui affirmait que les humains et les ordinateurs sont « essentiellement étrangers les uns aux autres ». Parce que les machines peuvent fonctionner beaucoup plus vite que les humains, a déclaré Wiener, « nous ferions mieux d'être sûrs que le but assigné à la machine est celui que nous désirons réellement et pas simplement une imitation colorée de celui-ci ».
Le défi décrit par Wiener – faire en sorte qu’une machine agisse de la manière souhaitée par ses utilisateurs – est devenu connu sous le nom de problème d’alignement. À un certain niveau, l’alignement est un problème pour chaque technologie, mais comme Wiener l’a reconnu, cela était particulièrement urgent pour les machines conçues pour agir de manière autonome. Il était également particulièrement difficile pour les systèmes d’IA entraînés d’optimiser mathématiquement certains signaux de récompense, un processus connu sous le nom d’apprentissage par renforcement.
Un exemple classique a été rapporté en 2016 par Dario Amodei et Jack Clark, qui ont travaillé chez OpenAI et ont ensuite fondé Anthropic avec cinq autres personnes. Amodei et Clark ont décrit un système d'IA conçu pour jouer à un jeu vidéo de course de bateaux. Les développeurs voulaient que l'IA apprenne à battre le jeu, ils l'ont donc programmé pour maximiser son score. Cependant, au lieu de se frayer un chemin à travers chaque niveau successif, l'IA a accumulé un score élevé en effectuant une boucle sans fin autour d'un lagon où elle a trouvé un trio de cibles régénératrices. Le problème fondamental était celui que Wiener avait prédit : l’objectif de la machine n’était pas parfaitement aligné sur celui des développeurs.
Des versions pl...
[Courte citation de 8% de l'article original]