Un guide pratique pour réduire les hallucinations LLM avec un interprète de code en bac à sable

La plupart des LLM et SLM ne sont pas conçus pour les calculs (sans parler des modèles OpenAI o1 ou o3). Imaginez simplement le dialogue suivant :

• Entreprise : Aujourd’hui, c’est mercredi ; vous pouvez retourner le colis livré dans les 24 heures.
• Client : D'accord, faisons-le mardi.

Êtes-vous sûr que la prochaine réponse de l’IA sera correcte ? En tant qu’humain, vous pouvez comprendre que mardi prochain aura six jours d’avance, alors que 24 heures ne représentent qu’un jour. Cependant, la plupart des LLM ne peuvent pas gérer de manière fiable une telle logique. Leurs réponses sont non déterministes.

Ce problème s’aggrave à mesure que le contexte s’agrandit. Si vous disposez de 30 règles et d’un historique de conversation de 30 messages, l’IA perd sa concentration et commet facilement des erreurs.

Cas d'utilisation courant

• Vous développez un chatbot de planification IA ou un agent IA pour votre entreprise.
• L'entreprise dispose de règles de planification fréquemment mises à jour.
• Avant la planification, le chatbot doit valider les paramètres de saisie du client.
• Si la validation échoue, le chatbot doit en informer le client.

Que pouvons-nous faire ?

Combinez l'exécution de code traditionnelle avec les LLM. Cette idée n’est pas nouvelle mais reste sous-utilisée :

• OpenAI intègre cette fonctionnalité dans son API Assistant, mais pas dans l'API Complitions.
• Google a récemment introduit des foncti...
  [Courte citation de 8% de l'article original]