Nous avons tous entendu parler de l'architecture Mixture-of-Experts (MoE) pour les LLM. Le MoE divise les modèles en sous-réseaux distincts (ou « experts »), chacun spécialisé dans un sous-ensemble de données d’entrée, pour effectuer conjointement une tâche. Un mélange d'architectures Expert permet aux modèles à grande échelle, même ceux comprenant plusieurs milliards de paramètres, de réduire considérablement les coûts de calcul pendant la pré-formation et d'obtenir des performances plus rapides pendant le temps d'inférence. D’une manière générale, cette efficacité est obtenue en activant de manière sélective uniquement les experts spécifiques nécessaires à une tâche donnée, plutôt qu’en activant l’ensemble du réseau neuronal pour chaque tâche.
Et si nous adoptions les principes du MoE au niveau des agents ? Les agents, comme les LLM, deviennent difficiles à faire évoluer à mesure que nous leur ajoutons de multiples responsabilités. Cette idée simple mais révolutionnaire nous a conduit à développer le premier système multi-agents (MAS) au monde également déployé en production. Mais allons plus loin, commençons par les bases de l’architecture mono-agent et comment elle peut être étendue au MAS.
Un agent, dans le contexte des grands modèles linguistiques (LLM), est un système qui utilise un LLM comme composant informatique fondamental pour construire un plan avec un raisonnement approprié pour relever tout défi en utilisant les outils et les ressources dont il dispose. C'est semblable à un humain qui, face à un problème, élaborera une stratégie et résoudra le problème en utilisant les outils nécessaires pour résoudre le problème. Le LLM agit de la même manière que le cerveau humain dans l'Agent. Pour une tâche donnée, on ne la résoudra pas comme telle. L’idéal est de le diviser en une ou plusieurs tâches plus petites qui peuvent être réalisées séquentiellement ou indépendamment pour résoudre la tâche. Un agent fera également la même chose. Le LLM planifiera la manière dont il entend résoudre cette tâche. Pour accomplir l'une des étapes intermédiaires, le plan nécessite généralement l'utilisation d'un ou plusieurs outils à la disposition de l'agent. Outre le LLM et les outils, l'agent disposera également d'autres composants pour son bon fonctionnement prévu.
D'une manière générale, il existe trois composants principaux d'un agent :
L'invite définira la façon dont le système va se comporter et fonctionner. Il définira l'ensemble des objectifs que l'agen...
[Courte citation de 8% de l'article original]