Défense en profondeur pour un agent qui va définitivement foirer

Troisième d'une série sur la création d'un organisme d'IA autonome qui exploite une véritable infrastructure multi-locataires dans le cadre d'un modèle de sécurité constitutionnel. La première partie était composée de deux portes. La deuxième partie était le mur. Celui-ci explique pourquoi aucun d’entre eux – y compris le mur – n’est autorisé à être la dernière ligne.

Chaque mécanisme de sécurité que j'ai décrit jusqu'à présent comporte actuellement un bug. Je ne sais juste pas lequel.

Ce n’est pas une fausse modestie – c’est la seule hypothèse de fonctionnement saine pour un agent autonome en production. Un jour, la conscience classera mal une action. Le conseil rejettera une mauvaise idée. Le mur d'isolation aura un espace que je n'ai pas vu. Chacun d’eux constitue la principale défense contre un certain risque, et chacun finira par échouer dans son travail.

La vraie question de conception n’a donc jamais été « comment créer une couche parfaite ». C'était le cas : lorsqu'une couche échoue - et elle échouera - qu'est-ce qui se cache derrière elle ?

La pile

Je considère la sécurité de l'organisme comme six niveaux, numérotés selon la rapidité avec laquelle ils détectent un problème. Plus tôt coûte moins cher : le meilleur endroit pour arrêter une catastrophe est avant qu'elle ne devienne une idée.

• L0 — Isola...
  [Courte citation de 8% de l'article original]