La libération de Qwen2.5 Max est passée inaperçue dans l'hystérie Deepseek

La semaine dernière, la société chinoise de grande technologie Alibaba a publié son meilleur modèle à ce jour: Qwen-Max. Il s'agit d'un modèle de mélange des experts en concurrence avec GPT-4O, Claude 3.5 et Deepseek-V3 "non relâchés".

Pendant que tout le monde discutait de Deepseek, l'avancement d'Alibaba n'est pas moins impressionnant. Qwen2.5 Max, un concurrent direct du modèle de chat V3 "non-saisonnant", montre de meilleures performances.

Stabilité solide du roc

J'ai évalué le nouveau modèle, ainsi qu'un certain nombre de modèles QWEN plus petits (Closed Qwen Plus, Qwen Turbo et Open Qwen2.5 72b), via les échecs LLM.

LLM Chess simule plusieurs jeux d'un bot aléatoire jouant contre un LLM. Avec des milliers d'invites et des millions de jetons, chaque jeu est unique (contrairement à la plupart des évaux qui ont des ensembles fixes d'invites / conditions de passe). Plusieurs mesures sont collectées et agrégées sur plusieurs séries. Les performances d'un modèle sont évaluées en raisonnement (% des victoires / tirages) et en passant par le bricolage / durabilité (à quelle fréquence un modèle ne suit pas les instructions ou abandonne le jeu en raison de plusieurs réponses erronées).

L'EVAL place le modèle en haut du classement parmi d'autres modèles SOTA des meilleurs laboratoires AI.