Nous sommes toujours les seuls à atteindre le numéro 1 sur LoCoMo et LongMemEval. Voici comment l'utiliser.

Backboard est n°1 sur LoCoMo et LongMemEval, les deux références académiques pour la mémoire IA à long terme sans modifier les directives d'origine. D'autres sociétés ont joué en utilisant des modèles plus récents avec des fenêtres contextuelles plus grandes. Cet article explique pourquoi le résultat est important de toute façon, ce qu'il mesure réellement et comment utiliser la mémoire qui l'a gagné.

Ce que testent ces benchmarks

Il ne s’agit pas de tests « trouver un fait dans un mur de texte ». Ils mesurent si un système peut créer, maintenir et raisonner sur la mémoire au cours de nombreuses conversations.

LoCoMo (Long-term Conversational Memory) évalue la mémoire à très long terme sur des dialogues multi-sessions qui s'étendent sur des semaines. Il teste le rappel en une seule session, le raisonnement inter-sessions, le raisonnement temporel, les connaissances extérieures et les questions contradictoires.

LongMemEval évalue cinq capacités distinctes : l'extraction d'informations, le raisonnement multi-sessions, le raisonnement temporel, la mise à jour des connaissances (remarquer quand un fait concernant l'utilisateur change) et l'...
[Courte citation de 8% de l'article original]