Pause, Inspecter, Modifier : Débogage des requêtes LLM dans vLLora

DEV - 12/12
Déboguez les agents LLM avec le mode point d'arrêt de vLLora. Suspendez les requêtes, affichez les invites et les paramètres complets, modifiez-les et reprenez les longs flux de travail sans modifier le code.

Les LLM se comportent comme des boîtes noires. Vous leur envoyez une demande, vous espérez que l'invite est correcte, vous espérez que votre agent ne l'a pas muté, vous espérez que le framework l'a correctement empaqueté, puis vous espérez que la réponse a du sens. Dans les requêtes simples, cela fonctionne généralement correctement. Mais lorsque vous créez des agents, des outils, des workflows en plusieurs étapes ou des pipelines RAG, il devient très difficile de voir ce que le modèle reçoit réellement. Une seule modification inattendue d’un message, d’un paramètre ou d’une invite système peut décaler l’ensemble de l’exécution.

Aujourd'hui, nous introduisons le débogage des points d'arrêt pour les requêtes LLM dans vLLora, ce qui rend cela visible et ...
[Courte citation de 8% de l'article original]