Les agents de l'équipe rouge IA changent la façon dont les LLM sont testés - Help Net Security

Les enquêtes contradictoires sur les LLM ont constitué une boîte à outils tentaculaire au cours des trois dernières années. Les techniques d'attaque portant des noms tels que Tree of Attacks with Pruning, Crescendo et Skeleton Key côtoient des centaines de transformations d'invite et de méthodes de notation dans des frameworks open source, notamment PyRIT de Microsoft, Garak de NVIDIA et Promptfoo. Le catalogue s’est développé plus rapidement qu’aucun opérateur ne peut le parcourir couramment, et cette inadéquation change la façon dont l’équipe rouge de l’IA est réalisée.

Une vague de travaux récents pointe vers une évaluation orchestrée par un agent, dans laquelle un agent d'IA sélectionne les attaques, compose les transformations, les exécute sur une cible et produit des résultats structurés à partir d'un objectif en langage naturel. Des recherches publiées au cours de l'année dernière ont montré que des agents autonomes résolvaient la majorité des défis des équipes rouges en boîte noire avec des gains d'efficacité significatifs par rapport aux opérateurs humains. Un nouvel article de la société de sécurité Dreadnode ajoute un autre point de données, décrivant un ...
[Courte citation de 8% de l'article original]