Les agents IA Android open source pourraient laisser le texte d'écran invisible exécuter du code sur les PC hôtes

Une application Android capable de dessiner sur d'autres fenêtres et d'écrire sur un stockage partagé peut transmettre des instructions à l'agent IA qui conduit ce téléphone, sous forme de texte qu'aucun œil humain ne verra jamais. Encore deux étapes et la même application exécute des commandes sur le PC qui pilote l'agent.

Les chercheurs ont démontré cette chaîne, ainsi que six autres attaques, contre cinq frameworks d'agents mobiles open source : AppAgent, AppAgentX, Mobile-Agent-v3, Open-AutoGLM et MobA. Tout le monde est tombé à au moins six des sept.

L'article a été publié sur arXiv le 1er juillet et a été révisé le 14 juillet. Les auteurs proviennent de l'Université Simon Fraser, de l'Université chinoise de Hong Kong, de l'Université du Shandong et du Xingtu Lab de la société de sécurité chinoise QAX.

Rien ici n'a de CVE, et le premier auteur, Zidong Zhang, a déclaré à The Hacker News que l'équipe n'avait aucune preuve que les techniques étaient utilisées en dehors d'un cadre contrôlé. Hacker News a vérifié les cinq frameworks et a trouvé les chemins de capture d'écran, l'appel shell et le repli de diffusion que le journal décrit toujours présents sur leurs branches principales au 17 juillet.

Zhang a déclaré que l'équipe avait envoyé un e-mail privé aux responsables concernés avant de publier la prépublication et qu'elle n'avait "pas reçu de réponse à ce jour".

L’escalade est la partie la moins exotique. Le contrôleur d'AppAgent exécute subprocess.run(adb_command, shell=True) et crée une entrée de texte en déposant la sortie du modèle directement dans le texte d'entrée du shell adb {input_str}. La liste du journal montre que la fonction n’a aucune dési...
[Courte citation de 8% de l'article original]