Chatbot avec noyau sémantique - Partie 3 : Inspecteur et jetons 🔎

Dans nos chapitres précédents, nous avons construit un agent de base amélioré avec des compétences spécifiques via des plugins et des appels de fonctions.

Sur ce troisième chapitre, nous ajouterons une fonctionnalité pour inspecter et déboguer en temps réel les interactions entre notre agent et les plugins.

Pourquoi avons-nous besoin d’un inspecteur ?

Dans une interaction de base agent-humain, le système reçoit un ensemble d'instructions et un historique de discussion, et crée une réponse en conséquence. Même s'il ne s'agit peut-être pas d'une tâche banale, le nombre de variables est limité. Cependant, lorsque l’on ajoute des compétences à notre agent sous forme de plugins, les interactions sont bien plus complexes. Nous devons revoir les descriptions, les arguments, etc. Dans ces scénarios, il est essentiel de comprendre comment notre agent interagit avec les différents plugins en temps réel pour pouvoir ajuster les différents plugins afin que l'agent les appelle quand il le souhaite. C'est le but de l'Inspecteur que nous allons construire sur ce chapitre.

De plus, il est également important d'identifier le nombre de jetons consommés par notre modèle à chaque appel de fonction. Ces informations sont nécessaires pour estimer le coût de notre agent, ce qui est essentiel dans un scénario commercial où l'utilisation de l'agent pourrait atteindre des centaines ou des milliers d'utilisateurs. Avec ces estimations, nous pouvons décider si la solution actuelle est rentable, ou si nous devons améliorer nos invites, nos fonctions ou simplement supprimer certaines fonctionnalités.

Commençons par comprendre ce que sont les jetons et comment nous pouvons extraire...
[Courte citation de 8% de l'article original]