J'ai donné à 13 LLM la même base de code et demandé une spécification. Six Ran sur mon ordinateur portable.

Il existe des références pour le code écrit par un LLM. HumanEval, MBPP, SWE-Bench, LiveCodeBench. Il n'y a pas de référence pour les spécifications écrites par un LLM. La moitié en amont de la livraison de logiciels agents a volé à l'aveugle - et les spécifications sont ce que votre agent de codage en aval doit interpréter.

J'en ai cherché un et il n'y en a pas. J'en propose donc un, et pour le démontrer j'ai donné à treize LLM la même base de code réelle (excalidraw) et j'ai demandé à chacun d'eux de produire un arbre de spécifications. Six de ces treize fonctionnaient localement sur un ordinateur portable - via LM Studio et Ollama - et l'un d'eux atterrissait à moins de 12 % de la ligne de base du cloud frontalier. Ensuite, j'ai demandé à Claude Opus de parcourir les résultats de tous les autres modèles et de les juger.

Les chiffres m'ont surpris. La moitié locale a également résisté.

La métrique : une mise en œuvre sans dérive

Une spécification se compile pour rien. Il est examiné par le client, le PM, le responsable de l'assurance qualité, et non par un compilateur. Une mauvaise fonction échoue à son test. Une mauvaise spécification fait échouer une réunion.

La question qui compte pour quiconque expédie des logiciels avec des agents IA en aval est la suivante : remettez la spécification - et uniquement la spécification - à Claude Code, Google Antigravity ou Codex. Le résultat correspond-il à ce que les spécifications décrivent ? Si oui, les spécifications étaient bonnes. Si l’agent devait deviner, inventer ou demander, la spécification était perdante. La dérive est le coût. L'objectif est d'être sans dérive.

Cette troisième affirmation est la seule raison pour laquelle cette expérience peut exister. Il reformule « quel LLM dois-je utiliser pour rédiger mes spécifications » comme une question avec une réponse, pas une ambiance.

La configuration

Treize LLM. Un bref. Une base de code.

• Nuage, frontière : Claude Opus 4.7, Sonnet 4.6, Haiku 4.5 ; GPT 5.4, GPT 5.4 Mini ; Aperçus Gemini 3.1 Pro et Flash
• Local, poids ouverts : Qwen 3.6 35B A3B (LM Studio), Gemma 4 26B A4B (LM Studio, MoE), Gemma 4 31B (Ollama, dense), Gemma 4 8B (Ollama), GPT-OSS 20B (poids ouverts), Nemotron 3 Nano (poids ouverts)

Six des treize n’ont jamais touché un point de terminaison cloud. L’ensemble de la cohorte locale a été un test délibéré de la question que se posent toutes les équipes soucieuses de la confidentialité depuis la vague des pondérations ouvertes : les pondératio...
[Courte citation de 8% de l'article original]