ITBench-AA : Les modèles Frontier obtiennent un score inférieur à 50 % au premier benchmark pour les tâches informatiques d'entreprise agentiques — par Artificial Analysis et IBM

Artificial Analysis et IBM Software Innovation Lab lancent ITBench-AA, le premier d'une nouvelle série de tests évaluant les modèles sur les tâches informatiques d'entreprise agents, en commençant par les tâches d'ingénierie de fiabilité des sites où les modèles frontières obtiennent un score inférieur à 50 %. Les tâches SRE d'ITBench-AA évaluent les performances des modèles sur la réponse aux incidents Kubernetes, où les modèles et les agents doivent diagnostiquer les systèmes en direct en lisant les journaux, en traçant les dépendances et en identifiant les entités de cause première dans une infrastructure complexe. L'ensemble de données ITBench sous-jacent a été développé par IBM, en s'appuyant sur une expertise approfondie des opérations informatiques d'entreprise. Artificial Analysis a travaillé en étroite collaborat...
[Courte citation de 8% de l'article original]