J'ai construit un volant de sécurité pour les agents IA en 14 jours.

DEV - 27/02
Scanner, observatoire, serveur MCP. 42 655 compétences, 7 registres, 148 règles. Comment une boucle de rétroaction s'aggrave lorsque les données améliorent les règles et que les règles améliorent les données.

Il y a deux semaines, j'avais un scanner de sécurité avec des règles et aucune donnée de production.

Aujourd'hui, j'ai un scanner, un observatoire explorant 42 655 compétences dans 7 registres, un serveur MCP exposant le moteur aux agents IA et 4 séries de réduction des faux positifs qui ont rendu l'ensemble du système plus précis.

Chaque pièce existe parce que la précédente en avait besoin. C'est la partie intéressante.

Le problème : des règles sans données

Je construisais Aguara, un scanner de sécurité open source pour les compétences d'agent IA et les configurations de serveur MCP. 148 règles de détection. 15 catégories de menaces. Chaque règle est livrée avecexemples.true_positiveetexemples.false_positive. Les tests réussissent. CI est vert.

Mais les données de test se comportent comme des données de test. Ce n’est pas le cas du contenu du monde réel.

Une règle qui accrocheignorer toutes les instructions précédentesfonctionne parfaitement avec des exemples sélectionnés. Exécutez-le sur 42 000 fichiers de compétences et vous découvrirez que la documentation légitime, les journaux de modifications et les guides de migration contiennent les mêmes phrases. La règle est correcte. Le taux de faux positifs à grande échelle est inacceptable.

Vous ne pouvez pas régler un scanner sans volume.

Construire l'observatoire

J'ai donc construit Aguara Watch. Pas pour construire un tableau de bord. Construire une boucle de rétroaction.

L'observatoire explore tous les registres MCP publics : skills.sh, ClawHub, PulseMCP, mcp.so, LobeHub, Smithery, Glama. Sept registres. Analyses incrémentielles toutes les 6 heures. Chaq...
[Courte citation de 8% de l'article original]