Deepseek R1 contre OpenAI o1

Deepseek R1 est disponible - disponible via l'API Deepseek ou le chat Deepseek gratuit. Si vous suivez l'espace LLM/Gen AI, vous avez probablement vu des titres, lu des articles ou regardé des vidéos faisant l'éloge du modèle : modèle 671B MoE, poids ouvert, beaucoup d'informations sur le processus de formation. Il remet en question les modèles de raisonnement d'OpenAI (o1/o1-mini) sur de nombreux benchmarks pour une fraction du coût... Il existe des versions « distillées » encore plus petites de R1 disponibles pour l'exécution locale (via llama.cpp/ollama/lmstudio etc. ).

J'ai testé des modèles avec LLM Chess depuis l'automne, et jusqu'à présent, aucun des modèles de « raisonnement » (ou de « réflexion ») ne m'a impressionné. J'ai tout de suite lancé le benchmark, mais j'ai dû attendre quelques jours pour collecter suffisamment de données (il semble que l'API ait été bridée ; elle était extrêmement lente).

LLM Chess simule plusieurs parties d'un robot aléatoire jouant contre un LLM. Des milliers d'invites, des millions de jetons, chaque jeu est unique (contrairement à la plupart des évaluations qui ont des ensembles fixes d'invites/conditions de réussite). Plusieurs métriques sont collectées et agrégées sur plusieurs exécutions. Les...
[Courte citation de 8% de l'article original]