Langchain est un cadre populaire pour développer des applications alimentées par de grands modèles de langage, fournissant des composants pour travailler avec les LLM via des chaînes et des agents composables. Comme avec les microservices, lors de la construction d'applications de production avec Langchain, le traçage et la visualisation de la façon dont les différents composants interagissent les uns avec les autres deviennent de plus en plus importants. AWS X-RAY est le choix naturel pour cela dans un contexte sans serveur dans AWS.
Dans mes articles précédents «Un chatbot sans serveur avec Langchain & Aws Bedrock», et «Logging Langchain to AWS CloudWatch», j'ai présenté une solution pour un chatbot sans serveur avec Langchain et AWS Bedrock. La solution met en œuvre toutes les fonctionnalités de l'historique des conversations, en répondant dans le langage utilisateur, contexte personnalisé à l'aide de RAG, de garde-corps, de sorties structurées ainsi que de l'utilisation de rappels Langchain pour une journalisation détaillée personnalisée dans les journaux AWS CloudWatch.
Il existe de nombreux outils et frameworks (par exemple Langsmith, Arize Phoenix, Langfuse, etc.) sur la base de l'OpenTelemetry, pour tracer les applications LLM et faire beaucoup plus (évaluer LLM, évaluer les chiffons, exécuter des expériences, etc.). Mais je voulais me forcer à voir ce que je pouvais faire pour le traçage avec des outils AWS indigènes. J'ai donc construit une solution personnalisée avec l'outillage à rayons X natif AWS. Mais pour ce faire, j'avais besoin de créer des sous-segments de trace de rayons X pour toutes les actions effectuées par tout type de LangchainCoulant. Il y a deux défis associés à cela.
Le premier est que par défaut, lors de l'activation du traçage des rayo...
[Courte citation de 8% de l'article original]