Quels LLMS sont (et ne sont pas) prêts pour le code sécurisé?

Résultats initiaux de notre nouveau classement de sécurité LLM sur l'étreinte Face

Les modèles d'IA font partie intégrante du développement de logiciels, mais il n'y a toujours pas de moyen standard d'évaluer l'intelligence de sécurité de codage des modèles de langage que les développeurs utilisent. Pour aider à combler cette lacune, nous avons lancé le classement de la sécurité LLM sur Hugging Face: un classement ouvert et axé sur la communauté qui évalue de grands modèles de langue dans un ensemble initial de quatre dimensions de sécurité critiques.

Nos premiers résultats mettent en évidence une réalité qui donne à réfléchir: même les modèles open-source les plus populaires ont du mal aux tâches de codage sécurisées fondamentales. Pas un seul modèle obtenu au-dessus de 50% sur les quatre dimensions de sécurité que nous avons testées dans notre référence initiale. Comme le code généré par l'AI-Trède dans la production, la réduction et l'identification des faiblesses de sécurité est plus critique que jamais pour la sécurité et la résilience à long terme de nos bases de code. En savo...
[Courte citation de 8% de l'article original]