Ingénierie des harnais d'agent : ce que m'ont appris 8 mois de production

DEV - 06/03
Même modèle. 36 points de plus sur les benchmarks. La solution n’a jamais été le modèle. Anthropique a donné...

Même modèle. 36 points de plus sur les benchmarks. La solution n’a jamais été le modèle.

Anthropic a donné à Opus 4.5 une invite de haut niveau pour créer une application Web de production. Cela a échoué. Pas parce que le modèle était mauvais. Parce qu'il a essayé de tout faire en une seule fois (admettez-le, vous faites la même chose), a laissé des fonctionnalités à moitié implémentées dans les fenêtres contextuelles et a déclaré la victoire trop tôt. Ils ont réparé l'échafaudage, ajouté un suivi des progrès et des flux de travail incrémentiels : le même modèle a commencé à être expédié. Ils ont intitulé l'article « Harnais efficaces pour les agents de longue durée ».

TL;DR : "Harnais > modèle" est correct mais incomplet. Le mécanisme qui le fait fonctionner est la divulgation progressive : montrer au modèle uniquement ce dont il a besoin, quand il en a besoin. Le même modèle a bondi de 36 points sur CORE-Bench simplement en passant à un meilleur échafaudage. Mon framework après 8 mois et 5 apps de production : contrats sur vibes, contraintes sur outils, simplifier chaque trimestre. Modèles de copier-coller inclus.

Puis le mot est apparu partout. OpenAI a publié « Harness Engineering ». LangChain a fait passer son agent de codage de 52,8 % à 66,5 % en ne changeant rien d'autre que le harnais. Mitchell Hashimoto et Martin Fowler en ont parlé. SWE-bench Pro l'a confirmé à grande échelle : même modèle, échafaudage différent, résultats différents.

J'ai regardé mon CLAUDE.md, mes contrats d'invite, mes wrappers CLI et j'ai réalisé que c'était exactement ce que je faisais depuis huit mois sur cinq applications de production. Je n'ai tout simplement jamais eu le mot pour le nommer. Harnais. C'est le mot.

Alors oui, le harnais compte plus que le modèle. Cette partie est réglée.

Mais savoir « le harnais compte », c’est comme savoir « manger sainement et faire de l’exercice ». C'est vrai, inutile si vous ne le faites pas réellement, et sur le point de générer toute une industrie de frameworks trop compliqués qui passent à côté de l'essentiel.

J'ai passé huit mois à faire toutes les erreurs du livre. C'est ce qui a survécu.

Les trois erreurs que tout le monde fera

Je le sais parce que j'ai fait les trois.

Erreur 1 : empiler les outils au lieu de rédiger des contrats

Lorsque j'ai commencé à créer OpenClaw, mon agent d'IA multimodèle, j'ai connecté 12 outils MCP. Recherche, mémoire, vérifications de crédit, surveillance RSS, alertes Discord, statut cron, requêtes des utilisateurs, vérification des sauvegardes. Je me sentais minutieux. Je me sentais professionnel.

L’agent a passé plus de temps à décider quel outil appeler qu’à résoudre le problème réel.

Sur un simple « quelque chose nécessite mon attention ce matin ? » requête, il lançait 4 à 5 appels d'outils en séquence, atteignant parfois deux fois le même point de terminaison avec des paramètres légèrement différents car les descriptions étaient suffisamment vagues pour se chevaucher. Un matin, il a appelé check_users, puis check_credi...
[Courte citation de 8% de l'article original]

Loading...