Avez-vous déjà essayé de lire une énorme pile de rapports et de les résumer en moins de 50 mots ? C'est dur. Imaginez maintenant demander à un grand modèle linguistique (LLM) de pointe, comme Gemini, de le faire.
Vous pourriez penser que les IA ont une mémoire parfaite, mais ce n’est pas le cas. Lorsqu’elles sont contraintes de regrouper des informations provenant de dizaines de documents sous des contraintes strictes de longueur, les IA souffrent de graves biais de « perte de mémoire ». Soit ils ignorent le milieu de vos documents, soit ils oublient complètement les anciennes informations qu’ils ont lues en premier.
Dans cet article, nous présenterons une solution simple mais puissante appelée Pyramid Aggregation. Curieusement, cette méthode est adaptée d’un algorithme de concaténation de chaînes vieux de 10 ans, initialement conçu pour accélérer l’exécution des langages de programmation de base. En l’appliquant à l’IA moderne, nous avons résolu le problème de l’oubli et obtenu une accélération de 95 % du temps de traitement.
Allons-y !
Le 13 octobre 2016, j'ai publié un article technique sur mon blog intitulé "Algorithmes améliorés pour la sommation des éléments de tableau". Récemment, j'ai officiellement archivé ce travail sur Zenodo.
En 2016, l'objectif de cet article était simple : trouver un moyen très efficace de joindre (concaténer) des milliers de chaînes de texte. Dans l'ancienne version de Google Apps Script (avant le moteur V8), la jointure de texte séquentielle standard était incroyablement lente et gourmande en mémoire, car l'ordinateur devait reconstruire l'empreinte du texte encore et encore (complexité ($O(N^2)$). En proposant une méthode hiérarchique de type arbre, que j'ai appelée méthode pyramidale, nous avons limité la croissance de la mémoire active à une échelle linéaire ($O(N)$), ce qui a entraîné une réduction massive de 99,7 % des coûts d'exécution.
Lors de la révision récente de cet article pour Zenodo, une étincelle s'est al...
[Courte citation de 8% de l'article original]