A retenir sur l'arrivée des agents d'IA malveillants dans les entreprises
Alors que les entreprises commencent à mettre en œuvre des agents d'intelligence artificielle, la question des risques ne sont pas assez identifiés assure Nikesh Arora, directeur général du géant de la cybersécurité Palo Alto Networks.
"On commence à se rendre compte qu'en déployant l'IA, nous aurons besoin de sécurité", a t-il dit lors d'une conférence de presse à laquelle j'ai participé.
"Et je pense que la consternation la plus grande concerne la partie agent", a-t-il ajouté, "parce que les clients craignent que s'ils n'ont pas de visibilité sur les agents, s'ils ne comprennent pas quelles sont les informations d'identification dont disposent les agents, ce sera le Far West dans leurs plateformes d'entreprise."
Les agents d'intelligence artificielle sont des programmes d'intelligence artificielle de l'entreprise auxquels on a accordé l'accès à des LLM, ce qui permet à un programme d'effectuer une plus grande variété d'actions. Par exemple il peut s'agir d'un chatbot, tel que ChatGPT, qui a accès à une base de données d'entreprise par le biais d'une technique telle que la génération augmentée par récupération (RAG).
Un agent pourrait nécessiter un arrangement plus complexe, tel que l'invocation par le bot d'un large éventail d'appels de fonctions à divers programmes simultanément via, par exemple, la norme Model Context Protocol...
[Courte citation de 8% de l'article original]