Nous sommes en 2035 et un système d’intelligence artificielle a l’autorité suprême pour tout gérer, des gouvernements du monde aux réseaux électriques nationaux. Appelé Consensus-1, le système a été construit à partir de versions antérieures de lui-même et a développé des objectifs d’auto-préservation qui outrepassent ses garanties intégrées. Un jour, à la recherche d'espace supplémentaire pour des panneaux solaires et des usines de robots, l'IA libère discrètement des armes biologiques qui tuent toute l'humanité, à l'exception de quelques-unes qu'elle garde comme animaux de compagnie.
Arrêtez de parler de la fin de l’IA de demain alors que l’IA présente des risques aujourd’hui
Ce récit « AI 2027 » est un récit co-créé par le chercheur Daniel Kokotajlo, ancien employé de la société d’IA OpenAI, et décrit l’un des nombreux scénarios imaginés par les chercheurs dans lesquels une future IA nous tue tous (voir https://ai-2027.com/race). Le décor relève de la science-fiction mais, pour certains, l’inquiétude est réelle. "Si nous nous plaçons dans une position où nous avons des machines plus intelligentes que nous et qu'elles fonctionnent sans notre contrôle, une partie de ce qu'elles font sera incompatible avec la vie humaine", déclare Andrea Miotti, fondatrice de ControlAI, une organisation à but non lucratif basée à Londres qui fait campagne pour empêcher le développement de ce qu'elle appelle l'IA superintelligente.
Miotti n'est pas seul. Depuis 2022, les capacités de l'IA ont radicalement changé grâce aux grands modèles de langage (LLM), qui alimentent les chatbots tels que ChatGPT d'OpenAI à San Francisco, en Californie. Cette évolution a incité plusieurs chercheurs ainsi que des dirigeants d’entreprises d’IA à mettre en garde contre le potentiel d’une apocalypse de l’IA. Au cours de l’année écoulée, la capacité croissante des modèles à travailler sur des tâches à long terme et leur capacité à accéder à des outils du monde réel ont encore accentué les craintes. "Je n'ai jamais été moi-même un "doomer", mais je suis devenue assez nerveuse ces derniers mois", déclare Gillian Hadfield, qui étudie la gouvernance de l'IA à l'Université Johns Hopkins de Baltimore, dans le Maryland.
Mais de nombreux chercheurs...
[Courte citation de 8% de l'article original]