Suivi des décisions des agents IA avec OpenTelemetry

DEV - 27/06
Votre agent a supprimé quelque chose qu'il n'aurait pas dû avoir à 2 heures du matin. L'alerte s'est déclenchée. Répondez maintenant à trois questions :...

Votre agent a supprimé quelque chose qu'il n'aurait pas dû avoir à 2 heures du matin. L'alerte s'est déclenchée. Répondez maintenant à trois questions : qu'a-t-il fait, pourquoi l'a-t-il fait et qu'a-t-il touché. Si vous utilisez JSON pendant les 30 prochaines minutes, vous n'avez pas de traçage. Vous avez des journaux avec une pire interface utilisateur.

C'est la partie que personne n'instrumente avant le premier incident. Alors instrumentons-le avant.

Journalisation du rythme cardiaque vs suivi des décisions

La plupart des journaux d'agent capturent le battement de cœur. L'agent a couru. Outil appelé. Réponse revenue. Tout est HTTP 200 et tout est inutile.

[02:14:07] agent.run status=200 [02:14:09] tool.call db_query status=200 [02:14:09] tool.call db_delete status=200 [02:14:10] tool.call backup_purge status=200 [02:14:11] agent.complete status=200
Entrer en mode plein écran Quitter le mode plein écran

Cinq lignes vertes. Zéro réponse. La seule chose dont tu as besoin c'est pourquoidb_deletetiré, et cela réside dans l’étape de raisonnement qui a produit l’appel ainsi que dans le contexte qui l’a alimenté. L'enregistrement du rythme cardiaque jette les deux avant que le téléavertisseur ne sonne.

Voici le test, et c'est brutal. Partez d’une alerte. Essayez d'accéder directement à la branche où l'agent a choisi le mauvais outil, a transmis des arguments mal formés ou est sorti du contexte avant une étape critique. Si ce saut prend plus de quelques minutes de recherche manuelle, vous avez échoué. Vous avez des journaux, pas des traces.

Le correctif consiste à traiter chaque appel de modèle, exécution d'outil et récupération comme sa propre étendue, avec le raisonnement attaché en tant qu'attribut interrogeable. Ensuite, un enquêteur rejoue le plan au lieu de le deviner.

Pourquoi vous construisez sur OpenTelemetry GenAI, e...
[Courte citation de 8% de l'article original]