Après avoir discuté avec des experts en assurance qualité, nous sommes arrivés à la même conclusion : tester des applications basées sur l'IA est beaucoup plus compliqué que tester des logiciels traditionnels. Dans les systèmes déterministes classiques, l’assurance qualité s’appuie sur un comportement prévisible et des règles claires de réussite ou d’échec. Les modèles d’IA ne suivent pas vraiment cette logique, puisque la même entrée peut conduire à des sorties différentes. Par exemple, une fonctionnalité d’IA générative peut renvoyer des résultats légèrement différents à chaque exécution, et ces résultats peuvent toujours être acceptables. Pour cette raison, l’assurance qualité ne peut pas dépendre d’un résultat attendu fixe et doit plutôt travailler avec des plages et des seuils de qualité acceptables plutôt que des correspondances exactes.
L'assurance qualité doit rester impliquée sur le long terme et continuer à surveiller le comportement du modèle à mesure que les données et les conditions changent. Dans les projets réels, l'IA QA n'est pas quelque chose que vous terminez à la sortie et que vous passez ensuite. Les modèles peuvent lentement perdre en qualité à mesure que les données d'entrée changent ou que l'environnement change. Pour cette raison, le contrôle qualité ne se termine pas vraiment une fois le modèle mis en ligne. Bien souvent, c’est à ce moment-là que les problèmes les plus intéressants commencent à surgir. Les testeurs doivent anticiper et se préparer à une surveillance continue en production, ainsi qu'à des contrôles de régression réguliers lorsque les modèles sont mis à jour. De nombreuses équipes sous-estiment la rapidité avec laquelle ce travail se développe. L’IA QA change également ce que l’on attend des testeurs eux-mêmes. Dans leur travail quotidien, les ingénieurs QA travaillent en étroite collaboration avec des data scientists, examinant ensemble les ensembles de données, vérifiant la qualité des annotations et essayant d'interpréter les métriques du modèle en équipe. Au fil du temps, tester les systèmes d’IA devient une responsabilité beaucoup plus large. Il ne s...
[Courte citation de 8% de l'article original]