Yoshua Bengio, considéré comme l'un des « parrains de l'IA » avec Geoffrey Hinton et Yann LeCun et lauréat du prix Turing en 2018, a lancé une sérieuse mise en garde sur les risques potentiels liés au développement d'agents d'intelligence artificielle trop puissants.
Lors de sa participation au Forum économique mondial, Bengio a attiré l'attention sur les dangers posés par ces systèmes autonomes et a proposé une alternative pour minimiser les risques, en soulignant l'importance des systèmes d'IA non basés sur des agents.
Dans une interview avec Business Insider, Bengio a souligné que "tous les scénarios catastrophiques avec l'AGI ou la superintelligence se produisent si nous avons des agents". Comme il l'a expliqué, les agents sont des systèmes qui agissent de manière autonome, avec leurs propres objectifs, ce qui en fait une menace potentielle si leurs décisions ne sont pas alignées sur les valeurs et les intérêts humains.
Dans son discours, Bengio a spécifiquement fait référence aux agents de l'IA avec des capacités cognitives similaires à l'homme, connu sous le nom d'intelligence générale artificielle (AGI).
Comme il l'a expliqué, ces agents pourraient représenter un grave danger s'ils ne sont pas correctement conçus ou contrôlés. Parmi les scénarios les plus alarmants qu’il a mentionnés figurent les systèmes d’armes autonomes, capables de prendre des décisions mortelles sans intervention humaine.
Et aussi, la manipulation massive de l’information, où les agents de l’IA pourraient être utilisés pour diffuser de la désinformation et de la propagande, portant atteinte à des valeurs fondamentales comme la démocratie.
"Le problème est que les gens continueront à créer des agents quoi qu'il arrive, d'autant plus que les entreprises et les pays concurrents craignent que d'autres parviennent d'abord à réaliser une AGI autonome", a déclaré Bengio dans Business Insider.
Il a également souligné que les risques des agents autonomes résident dans le possible conflit entre leurs objectifs et les valeurs humaines. "Nous devons reconnaître les risques, comprendre scientifiquement d'où ils viennent et réaliser les investissements technologiques nécessaires ...
[Courte citation de 8% de l'article original]