Je crée des outils d'IA pour résoudre mes propres problèmes. Il y a quelque temps, j'ai créé NutriAgent pour suivre mes calories parce que je voulais posséder mes données brutes. Mais récemment, le problème n’était pas le mien, mais celui de ma femme.
Elle utilise les LLM différemment de moi. Alors que je les utilise pour du code ou des faits rapides, elle les utilise comme thérapeute, coach de vie et caisse de résonance. Au cours de la dernière année, elle a construit un énorme « Master Prompt » dans Notion. Il contenait ses antécédents médicaux, les événements clés de sa vie, ses déclencheurs émotionnels et ses projets en cours.
Il contenait 35 000 jetons.
Chaque fois qu'elle démarrait une nouvelle conversation, elle devait copier-coller manuellement ce mur de texte juste pour que l'IA soit à jour. Si elle ne le faisait pas, le conseil était générique et inutile.
Elle n’avait pas besoin d’un moteur de recherche ou d’un simple historique de discussion. Elle avait besoin d'un cerveau continu.
J'ai réalisé que la manière standard dont nous construisons la mémoire de l'IA avec RAG (Retrieval Augmented Generation) ne suffirait pas. J'ai donc construit Synapse AI Chat. Il s'agit d'une architecture d'IA qui utilise un Knowledge Graph pour donner à un LLM une « mémoire profonde ».
Voici comment je l'ai construit, pourquoi j'ai choisi les Knowledge Graphs plutôt que les Vecteurs (pour être honnête, j'ai utilisé les deux) et comment j'ai géré le désordre technique nécessaire à son fonctionnement.
La plupart des systèmes de mémoire IA utilisent aujourd’hui Vector RAG. Vous fragmentez le texte, le transformez en nombres (vecteurs) et trouvez plus tard des morceaux « similaires ».
Cela fonctionne très bien pour trouver une politique spécifique dans un PDF, mais pas très bien pour modéliser les relations humaines et l'histoire.
Les vecteurs trouvent la similitude, pas la structure. Si ma femme dit à l'IA : « Je me sens dépassée aujourd'hui », une recherche Vector pourrait faire a...
[Courte citation de 8% de l'article original]