« Les LLM peuvent tout faire » : autopsie d'un mythe

DEV - 06/01
Nous avons testé cette croyance sur 19 cas d'utilisation, en utilisant 3 modèles OpenAI GPT et du Machine Learning de base...

Nous avons testé cette conviction sur 19 cas d'utilisation, en utilisant 3 modèles OpenAI GPT et des algorithmes de base de Machine Learning, pour un total de 570 expériences. Voici la vérité que personne ne veut entendre.

Prologue : La promesse

Janvier 2026. Dans les couloirs des entreprises technologiques, une conviction s’est imposée comme une évidence : les LLM rendent obsolète le Machine Learning classique. Pourquoi s'embêter avec les pipelines sklearn alors que GPT peut tout faire en une seule ligne de code ?

Nous avons voulu tester cette hypothèse. Pas avec des opinions. Avec des données.

Le protocole : 19 cas d'utilisation réels, de la détection du spam à la prévision des prix de l'immobilier. 3 modèles OpenAI (GPT-4o-mini, GPT-5-nano, GPT-4.1-nano). Une ligne de base sklearn délibérément simple (TF-IDF + Logistic Regression, RandomForest). 30 itérations par expérience, validation croisée Monte Carlo, tests statistiques rigoureux.

Le verdict ? Cela vous surprendra.

ACTE I : L'ILLUSION

Le triomphe attendu

Commençons par ce qui fonctionne. Et cela fonctionne à merveille.

Quand le LLM écrase tout

En matière d'analyse des sentiments, GenAI ne fait pas que gagner. Il domine.

Ensemble de donnéesapprendreGPT-4o-miniGagnerTaille de l'effet
Sentiment sur Twitter0,3670,690+88%d=-13,6 (massif)
Avis sur IMDB0,7840,938+20%d=-7,5 (massif)
Avis sur Amazon0,3770,608+61%d=-10,5 (massif)
Avis sur Yelp0,4280,665+55%d=-11,0 (massif)

Un d de Cohen de -13,6 sur le sentiment Twitter. Pour mettre en perspective : en sciences sociales, un effet est considéré comme « important » lorsque |d| > 0,8. Ici, nous sommes 17 fois au-delà du seuil.

Le LLM comprend l'ironie, le sarcasme et les nuances culturelles. Il sait que "Ce film était... autre chose" n'est pas un compliment. TF-IDF ne voit que des mots.

Détection du spam : un massacre

Détection de spam SMS ------------------ sklearn (TF-IDF + LogReg) : 0.581 F1 GPT-4o-mini : 0.965 F1 Différence : +66% p-value : 3.03e-26 (28 zéros après la décimale)
Entrer en mode plein écran Quitter le mode plein écran

Avec un seul exemplaire de quelques clichés, le LLM atteint déjà 0,90 F1. sklearn a besoin de millier...
[Courte citation de 8% de l'article original]

Loading...