Chaque format de fil LLM revendique des économies de jetons. Personne ne prouve si les modèles d’IA peuvent réellement comprendre le format à grande échelle ou y produire une sortie valide.
Nous avons effectué 23 évaluations de compréhension sur 10 modèles et 3 fournisseurs. Nous avons effectué des évaluations de génération sur 11 modèles. Vérité terrain déterministe. Pas de juge LLM. Reproductible à partir d'une seule commande.
JSON bat 500 enregistrements. GPT-5.5 renvoie des chaînes vides. Il ne peut même pas tenter de répondre. Opus considère à tort 500 comme 356, puis passe 143 lignes à énumérer manuellement les symboles pour vérifier sa propre mauvaise réponse. Le format conçu pour une « lisibilité humaine » est incompréhensible pour les systèmes qui le lisent réellement.
TOON ne peut pas produire de sortie valide. Claude Opus, le modèle le plus performant de la planète, obtient un score de 0/5 sur la génération TOON. GPT-5.4 : 0/5. GPT-5.4-mini : 0/5. Gémeaux 3.1 Flash Lite : 0/5. L'erreur est toujours la même :toon : impossible d'attribuer une chaîne à un entier. Le modèle écrit « cible » dans la colonne distance. TOON attend0. Chaque modèle échoue de la même manière, car la conception du format impose une étape de codage non naturelle que les modèles ne peuvent pas exécuter sans y être invité.
GCF remporte les deux dimensions sur chaque modèle testé. Compréhension à 100% sur Claude Sonnet, Gemini 2.5 Pro, Gemini 3.1 Pro et Gemini 3.5 Flash. Génération valide 5/5 sur chaque modèle Frontier. Zéro formation préalable. Le format n'existait pas jusqu'à ce que nous le construisions et chaque modèle le parle nativement.
Un graphe de code de 500 symboles et 200 arêtes. Codé en GCF, TOON et JSON. 13 questions d'extraction structurées. Le modèle obtient la charge utile et une question. Aucune instruction de format. Aucune invite système. Aucune indication.
| Modèle | Fonctionne | Moy. GCF | TOON moyenne | JSON moyenne | Marge GCF |
|---|---|---|---|---|---|
| Claude Opus 4.6 | 2 | 96,2% | 84,6% | 73,1% | +11,6 contre TOON |
| Claude Sonnet 4.6 | 2 | 100% | 73,1% | 53,8% | +26,9 contre TOON |
| Claude Haïku 4.5 | 2 | 96,2% | 69,2% | 57,7% | +27,0 contre TOON |
| GPT-5.5 | 5 | 84,1% | 67,7% | 45,8% | +16,4 contre TOON |
| GPT-5.4 | 4 | 76,4% | 56,0% | 44,1% | +20,4 contre TOON |
| GPT-5.4-mini | 2 | 71,8% | 64,1% | 54,2% | +7,7 contre TOON |
| Gémeaux 2.5 Flash | 3 | 80,6% | 54,6% | 57,0% | +26,0 contre TOON |
| Gémeaux 2.5 Pro | 1 | 100% | 76,9% | 58,3% | +23,1 contre TOON |
| Gémeaux 3.1 Pro | 1 | 100% | 76,9% | 46,2% | +23,1 contre TOON |
| Gémeaux 3.5 Flash | 1 | 100% | 61,5% | 46,2% | +38,5 contre TOON |
GCF > TOON > JSON sur chaque modèle de chaque fournisseur. Aucune exception. Quatre modèles atteignent 100% : Claude Sonnet, Gemini 2.5 Pro, Gemini 3.1 Pro, Gemini 3.5 Flash.