Mettez vos évaluations d'agent dans CI ou arrêtez de les appeler évaluations

La plupart des équipes avec qui je parle ont des « évaluations ». Je leur demande où se déroulent les évaluations. La réponse est presque toujours la même : un bloc-notes, un tableau de bord, une feuille de calcul que quelqu'un met à jour après une mauvaise semaine. Ce n'est pas une suite d'évaluation. C'est un musée.

Voici l'avis que je défendrai pour la suite de ce post : si les contrôles qualité de votre agent ne peuvent pas bloquer une fusion, ils sont décoratifs. Toute la valeur d’une évaluation est qu’elle arrête une régression avant qu’elle n’atteigne un utilisateur. Un score que vous avez lu lundi sur un déploiement que vous avez expédié vendredi est un post-mortem, pas une porte.

Nous validons le code avec des tests unitaires. Nous validons les API avec des tests contractuels. Nous abordons l'infra avecplan de terraformation. Ensuite, nous prenons le composant le plus non déterministe de la pile – un agent LLM qui peut modifier silencieusement son comportement lorsqu'un fournisseur envoie un nouveau point de contrôle – et nous le laissons passer par les vibrations. Cette asymétrie est le véritable bug.

Pourquoi "l'exécuter localement et le regarder" pourrit

L’échec n’est pas que les ingénieurs soient paresseux. Le problème est que les évaluations manuelles se dégradent exactement dans les conditions où vou...
[Courte citation de 8% de l'article original]