Votre modèle d'IA est-il empoisonné ? 3 signes avant-coureurs - ZDNET

Guillaume Serries - ZDNet - 09/02
Microsoft dit avoir mis au point un nouveau scanner permettant de détecter les modèles compromis.

Points clés à retenir sur l'empoisonnement des modèles d'IA

  • Le « model poisoning » utilise l'IA comme une arme via les données d'entraînement
  • Les menaces de type « agent dormant » peuvent rester latentes jusqu'à ce qu'un déclencheur soit activé
  • Des signaux comportementaux peuvent révéler qu'un modèle a été altéré

Les chercheurs en IA mettent en garde depuis des années contre l'effondrement des modèles, c'est-à-dire la dégénérescence des modèles d'IA après avoir ingéré des données erronées.

Ce processus empoisonne un modèle avec des informations non vérifiables. Mais il ne faut pas le confondre avec l'empoisonnement de modèle, une menace sérieuse pour la sécurité sur laquelle Microsoft vient de publier une nouvelle étude.

Si les enjeux de l'effondrement des modèles restent importants, ils sont insignifiants par rapport à ce que peut entraîner...
[Courte citation de 8% de l'article original]