L’un des débats les plus féroces de la Silicon Valley à l’heure actuelle porte sur la question de savoir qui doit contrôler l’IA et qui doit établir les règles que doivent suivre les puissants systèmes d’intelligence artificielle.
L’IA devrait-elle être gouverné par une poignée d'entreprises qui font de leur mieux pour rendre leurs systèmes aussi sûrs et inoffensifs que possible ? Les régulateurs et les politiciens devraient-ils intervenir et construire leurs propres garde-fous ? Ou l’IA devrait-elle les modèles devraient-ils être rendus open source et distribués gratuitement, afin que les utilisateurs et les développeurs puissent choisir leurs propres règles ?
Une nouvelle expérience d'Anthropic, le créateur du chatbot Claude, propose une voie médiane originale : et si une I.A. L'entreprise a-t-elle laissé un groupe de citoyens ordinaires rédiger des règles et formé un chatbot pour les suivre ?
L’expérience, connue sous le nom de « Collective Constitutional A.I. », s’appuie sur les travaux antérieurs d’Anthropic sur l’IA constitutionnelle, une manière de former de grands modèles de langage qui s’appuie sur un ensemble de principes écrits. Il vise à donner au chatbot des instructions claires sur la manière de traiter les demandes sensibles, les sujets interdits et la manière d'agir conformément aux valeurs humaines.
Si l’A.I. constitutionnelle collective fonctionne – et les chercheurs d’Anthropic pensent qu’il y a des signes que cela pourrait le faire ...
[Courte citation de 8% de l'article original]