L'IA qui écrit du code ne peut pas voir ses propres bugs

Nous comblions une faille de sécurité. Il vous permet d'exécuter un shell au niveau racine via Discord, ce qui est trop dangereux pour être laissé ouvert. Le correctif semblait simple : restreindre les autorisations de ce travailleur à la lecture seule, pas de commandes en cours d'exécution, pas de modification de fichiers. Nous l’avons écrit, relu une fois, et tout semblait bien.

Mais lorsque nous avons transmis le même code à un deuxième modèle pour qu'il l'examine, nous avons constaté en quelques secondes que dans la liste d'autorisations que nous venions d'écrire, la commande shell apparaissait à la fois du côté « autoriser » et du côté « refuser ». Le trou que nous pensions bouché était en réalité encore à moitié ouvert, car deux lignes de configuration se contredisaient. La suppression de la ligne en conflit était la solution, et ce n’est qu’à ce moment-là que le trou a été vraiment comblé.

Ce qui est effrayant, c'est que nous avons écrit ce correctif nous-mêmes, l'avons relu et ne l'avons toujours pas vu. Notre tête avait déjà décidé « c'est le code qui ferme le trou », alors nos yeux o...
[Courte citation de 8% de l'article original]