Utiliser l'IA pour auditer les résultats de l'équipe d'ingénierie : une expérience avec Claude

En gestion d’ingénierie, peu de défis sont aussi persistants et controversés que la mesure objective des performances d’une équipe. Comment pouvons-nous évaluer la vitesse, la qualité du résultat et même l’ancienneté d’une manière juste, perspicace et résistante au jeu ? Les mesures traditionnelles, telles que les story points, le nombre de validations ou les lignes de code, sont souvent insuffisantes. Ils peuvent privilégier la quantité plutôt que la qualité, récompenser l’activité plutôt que l’impact, et ne parviennent pas à saisir la réalité nuancée du développement de logiciels de production.

Récemment, j'ai mené une expérience pour explorer une nouvelle approche : utiliser un grand modèle de langage (Claude) comme "auditeur" impartial pour évaluer une base de code sur plusieurs mois. L’objectif était de répondre à des questions fondamentales :

• Qu’est-ce qui a été réellement livré ?
• Quelle était la complexité du travail en réalité ?
• Combien de temps cela a-t-il pris par rapport aux attentes d'un ingénieur senior ?
• Dans quelle mesure la sortie résultante était-elle stable ?

Les résultats ont suscité la réflexion – et quelque peu peu flatteurs – et ont incité à une réflexion plus approfondie sur la question de savoir si l’IA peut (ou devrait) jouer un rôl...
[Courte citation de 8% de l'article original]