Arrêtez d'ajouter à votre invite : implémentation d'un "garbage collector" pour les agents IA

DEV - 22/01
Nous avons un problème de thésaurisation en IA Engineering. Lorsqu'un agent fait une erreur, par exemple, il génère Markdown...

Nous avons un problème de thésaurisation en IA Engineering.

Lorsqu'un agent fait une erreur (par exemple, il génère Markdown au lieu de JSON), nous le corrigeons. Nous ajoutons une ligne à l'invite système : "TOUJOURS afficher un JSON valide". Lorsqu'il hallucine une API obsolète, nous ajoutons une autre ligne : "Ne pas utiliser les points de terminaison v1."

Cela fonctionne... pendant un moment. Mais au fil des mois, l'invite de votre système se transforme en un monstre Frankenstein de 5 000 jetons d'instructions contradictoires, de corrections de cas extrêmes et de chantage émotionnel ("... ou je serai très triste").

C'est la pourriture contextuelle. Et cela tue les agents de production.

J'ai récemment construit un module appelé Semantic Purge pour mon noyau d'agent auto-correcteur. Il agit comme un Garbage Collector pour les instruc...
[Courte citation de 8% de l'article original]

Loading...