Le tableau de bord est superbe. Les numéros de livraison ne le sont pas.
Votre tableau de bord de codage IA est superbe. Taux d'acceptation en hausse. Lignes générées. La satisfaction des développeurs augmente. Votre équipe est ravie. La direction est impressionnée. Le diaporama s'écrit pratiquement tout seul.
Posez maintenant une question différente : votre temps de cycle s'est-il amélioré ? Votre taux de défauts post-fusion a-t-il diminué ? Votre charge de révision par PR a-t-elle diminué ?
Si vous ne connaissez pas les réponses à ces questions, vous ne savez pas si l’IA est utile. Vous savez que votre équipe se sent bien. Ce n'est pas la même chose.
Les responsables de l’ingénierie mesurent le retour sur investissement du codage de l’IA avec les mauvais instruments. Les mesures faciles à capturer sont superbes. Les indicateurs qui vous indiqueraient si l’IA rend réellement votre équipe plus efficace ne sont pour la plupart pas mesurés. Et c’est dans cette lacune que les investissements dans l’IA disparaissent.
Les lignes de code générées et le taux d'acceptation de la saisie semi-automatique sont les points de départ par défaut de la plupart des tableaux de bord de codage IA. Ils sont faciles à tirer, faciles à suivre et faciles à afficher dans un QBR. Ils sont également presque totalement inutiles en tant que signaux de productivité.
Ces mesures récompensent le volume et non la qualité. Vous pouvez multiplier par 10 les deux chiffres et ralentir votre équipe. Plus gros n'est pas meilleur quand il s'agit de code (sauf s'il s'agit de "lignes de code supprimées de la base de code"). Plus de lignes signifie plus de surface à examiner, plus d'endroits où cacher les bogues et plus de charge cognitive pour chaque ingénieur qui touche au code après l'auteur. Plus à entretenir. Plus à refactoriser plus tard. L'IA ne sait pas que c'est censé être économe. C'est, par définition, génératif (c'est dans le nom !). Mesurer combien cela génère et célébrer lorsque le nombre augmente, c'est comme mesurer le nombre d'ingrédients utilisés par votre chef et appeler cela une critique de restaurant. Le...
[Courte citation de 8% de l'article original]