Implémentation d'évaluations automatisées basées sur des règles pour les applications LLM

La création de logiciels avec de grands modèles de langage (LLM) introduit un problème de test que les approches traditionnelles ne peuvent pas résoudre. Lorsqu'une fonction peut renvoyer des sorties différentes mais tout aussi valides à chaque appel, comment savoir si elle fonctionne correctement ?

La réponse standard dans les logiciels traditionnels est simple : écrire des tests qui affirment des résultats exacts. Mais les LLM sont des systèmes probabilistes. Posez-leur deux fois la même question et vous obtiendrez peut-être deux formulations différentes, toutes deux correctes. Posez-leur une question ambiguë et vous obtiendrez peut-être une réponse plausible et complètement fabriquée (hallucination). Cela crée des tensions. D'une part, les LLM permettent des applications qui seraient impossibles à créer avec du code déterministe. D’un autre côté, leur comportement rend difficile leur test, leur débogage et leur déploiement en toute confiance.

Cet article explore une solution pratique : des évaluations basées sur des règles intégrées dans des pipelines d'intégration continue. Nous allons le démontrer à l'aide d'un générateur de quiz alimenté par l'IA, mais les modèles s'appliquent à tout système LLM où les résultats doivent rester ancrés dans un contexte spécifique.

Pourquoi tester les applications LLM est fondamentalement différent

Les tests logiciels traditionnels reposent sur la prévisibilité : saisissez X, attendez le résultat Y et affirmez l'égalité. Le test réussit ou échoue.

Les applications LLM fonctionnent différemment. La même invite peut produire plusieurs réponses valides. Une demande de quiz sur la science peut renvoyer correctement des questions sur les télescopes, la physique ou les inventions de Léonard de Vinci en fonction de ce que le modèle sélectionne dans le contexte disponible.

Ce comportement probabiliste n'est pas un bug. Mais cela introduit des risques qui n'existent pas dans les systèmes déterministes :

• Hallucination : le modèle génère des informations qui semblent plausibles mais qui ne sont pas fondées sur le contexte fourni. Demandez un quiz sur Rome lorsque votre ensemble de données ne couvre que Paris, et le modèle pourra générer en toute confiance des questions sur l'histoire romaine en utilisant ses connaissances préalables à la formation.
• Biais et toxicité : sans contraintes, les LLM peuvent produire des résultats qui reflètent les préjugés sociétaux présents dans leurs données de formation ou génèrent du contenu préjudiciable.
• Dérive du contexte : même lorsque le modèle se comporte correctement au départ, les modifications apportées aux invites, aux données ou aux versions du modèle peuvent introduire des régressions que les tests traditionnels ne détectent pas.

Ces modes d'échec signifient que vous ne pouvez ...
[Courte citation de 8% de l'article original]