Apprentissage par renforcement causal explicable pour la conception d'habitats d'exploration en haute mer au sein de groupes de parties prenantes multilingues

Introduction

Tout a commencé lorsque je déboguais un agent d'apprentissage par renforcement qui échouait de manière inattendue. En explorant les systèmes d’apprentissage par renforcement multi-agents pour véhicules sous-marins autonomes, j’ai découvert que nos modèles prenaient des décisions qui semblaient optimales sur papier mais qui étaient complètement contre-intuitives pour nos biologistes et ingénieurs marins. L'IA trouvait des optima locaux qui violaient les principes de base de la durabilité de l'habitat, et pire encore : nous ne pouvions pas expliquer pourquoi elle faisait ces choix.

Cette prise de conscience m'a frappé lors d'une séance de recherche de fin de soirée alors que je comparais les mesures de performance de notre modèle aux commentaires des parties prenantes. Les biologistes marins n'arrêtaient pas de poser des questions du type « pourquoi » auxquelles nos systèmes RL traditionnels ne pouvaient pas répondre : « Pourquoi l'agent préfère-t-il ce gradient de température spécifique ? » "Pourquoi évite-t-il ces zones riches en nutriments ?" "Quelles relations causales découvrent-elles qui nous manquent ?"

En étudiant des articles sur l'inférence causale et des systèmes de PNL multilingues, j'ai appris que le problème ne concernait pas seulement l'optimisation : il s'agissait de créer des systèmes d'IA capables de communiquer leur raisonnement dans différents domaines et langues. Mon exploration de cette intersection entre le raisonnement causal, l’apprentissage par renforcement et la communication multilingue a révélé une lacune critique dans la façon dont nous concevons l’IA pour des environnements complexes et multipartites comme les habitats des grands fonds.

Contexte technique

Fondements de l’apprentissage par renforcement causal

En découvrant l'inférence causale dans l'apprentissage par renforcement, j'ai découvert que les approches RL traditionnelles confondent souvent corrélation et causalité. Au cours de mon enquête sur les modèles causals structurels, j'ai découvert que l'intégration de graphiques causals dans le cadre RL change fondamentalement la façon dont les agents apprennent et prennent des décisions.