Pourquoi les LLM sont mauvais au « premier essai » et excellents en matière de vérification

J'avais l'habitude de passer des heures à créer l'invite parfaite. Instructions détaillées, exemples, contraintes : les travaux.

Et l’IA ajouterait toujours des fonctionnalités aléatoires que je n’ai jamais demandées. Ou refactoriser le code qui était parfaitement bien. Ou sauter des étapes jugées « inutiles ».

Finalement, le déclic s’est produit : je menais une bataille perdue d’avance. J’ai donc arrêté d’essayer de contrôler la génération et j’ai commencé à me concentrer sur la vérification.

Les modèles d'échec que vous avez probablement vus

Avant de comprendre pourquoi, voici les anti-schémas courants :

• Le syndrome de l'invite géante : regrouper les exigences, la conception, la mise en œuvre et l'amélioration dans une seule invite
• Confiance excessive dans les instructions abstraites : s'attendre à « réfléchir attentivement » ou à « être minutieux » pour réellement améliorer la qualité
• La boucle invisible : penser que vous répétez alors que vous tournez en rond dans le même contexte biaisé
• Contexte Bloat : ajout d'informations "juste au cas où" jusqu'à ce que les instructions réellement importantes soient enterrées

Si l’un de ces éléments vous semble familier, vous êtes au bon endroit.

L'essentiel

La revendication est simple :

Les LLM fonctionnent mieux pour « vérifier et améliorer les artefacts existants » que pour « la première génération contrôlée ».

Au lieu d'essayer d'obtenir le résultat parfait du premier coup, vous obtenez de meilleurs résultats en :

1. Demander au LLM de produire quelque chose en premier
2. Ensuite, demandez-lui de vérifier et d'améliorer ce résultat

Ceci est fondé sur la manière dont les LLM traitent réellement les informations.

Pourquoi la vérification fonctionne mieux

Au début, je pensais que de meilleures invites conduiraient à un meilleur résultat au premier coup. Mais après de nombreux échecs, le schéma est devenu clair : il existe trois raisons interconnectées pour lesquelles les LLM deviennent « plus intelligents » lorsqu'ils ont quelque chose avec quoi travailler.

1. Les commentaires externes modifient la tâche

Lorsqu'un artefact existe, la tâche se transforme fondamentalement :

• Sans artefact : "Générer quelque chose de bien" (vague, ouvert)
• Avec artefact : « Identifiez ce qui ne va pas et corrigez-le » (spécifique, délimité)

La deuxième tâche a des critères de réussite plus clair...
[Courte citation de 8% de l'article original]