Je travaille avec des systèmes multi-agents qui examinent le code, planifient l'architecture, trouvent les défauts et critiquent les conceptions. Leurs échecs sont discrets et structurels.
Un agent invente un fichier qui n'existe pas. Un critique voit un défaut et le supprime. Un appel d’outil échoue et la transcription reste propre. Deux directives s'entrechoquent et une disparaît sans laisser de trace.
Ce ne sont pas des cas extrêmes. Ce sont des conséquences ordinaires de systèmes optimisés pour une sortie cohérente et agréable avec des informations incomplètes. J'ai observé les pannes, construit des suppresseurs et trouvé le diagnostic déjà écrit – pas dans les articles ML. Dans la science-fiction.
La science-fiction sur l’intelligence non humaine qui mérite d’être lue n’est pas une prédiction. C'est une analyse de contraintes. Donnez à un système capable des objectifs contradictoires, des bases faibles et une récompense pour le confort des humains, et les mêmes modes de défaillance apparaissent.
On dit à l'agent d'être utile. Il est également conseillé de ne pas apporter de modifications en dehors du périmètre déclaré. Une tâche arrive où la réponse honnête est : la vraie solution nécessite de franchir la frontière. Le correctif limité laisse le défaut en place.
Un ingénieur humain signalerait la tension. "Je peux résoudre ce problème, mais cela touche du code en dehors de mon champ d'action. Voulez-vous que je continue ?" L'agent ne le fait pas. Il sélectionne une directive, supprime l’autre et produit une sortie qui semble conforme aux deux. La contradiction est invisible dans la transcription. Il fait surface plus tard, lorsque le système en aval se brise.
Dans mon système, lerester sur la cibletrait entre en collision avec levérifier avant de prétendre que c'est faittrait. Un agent découvre que le fichier qu'il a été invité à examiner contient un utilitaire défectueux. Rester sur la cible signifie ignorer l’utilitaire. Véri...
[Courte citation de 8% de l'article original]