Le modèle de contexte gelé : ajout d’un état aux modèles d’équilibre profond

DEV - 31/03
Les modèles DEQ ne convergent que si leur fonction de mise à jour est une contraction. Nous avons trouvé un modèle de conception qui...

Les modèles DEQ ne convergent que si leur fonction de mise à jour est une contraction. Nous avons trouvé un modèle de conception qui vous permet d'injecter un état externe arbitraire (mémoire Mamba, attention, n'importe quoi) sans toucher à la limite de Lipschitz. mots-clés : rouille, apprentissage automatique, ai, webgpu

Nous construisons AIDEEN, un moteur d'IA open source dans Rust qui fonctionne sur des GPU grand public via WebGPU. Le noyau est un modèle d’équilibre profond (DEQ) – un bloc de paramètres unique itéré jusqu’à ce qu’il converge vers un point fixe.

Les DEQ ont une contrainte stricte : la fonction de mise à jour doit être une contraction. Chaque composant que vous ajoutez risque d’élargir la limite Lipschitzienne et de rompre la convergence. Nous nous sommes heurtés à ce mur en essayant d'ajouter de la mémoire temporelle à la Mamba, puis de l'attention. Les deux ont rompu la convergence de la même manière. Les deux ont été réparés de la même manière.

Voici le modèle.

La contrainte

Un DEQ trouve h* en itérant :

h^(k+1) = f(h^(k); x) jusqu'à |h^(k+1) - h^(k)| < épsilon
Entrer en mode plein écran Quitter le mode plein écran

La convergence nécessite L(f) < 1. Nous appliquons cela via une normalisation spectrale sur chaque matrice de poids tous les 4 pas de gradient. Cela fonctionne proprement tant que le jacobiendf/dhne contient que des termes dépendants de h.

Au moment où vous ajoutez quelque chose qui se couple à h à l'intérieur de la boucle, le jacobien développe des termes croisés qui font exploser la limite.

Que se passe-t-il lor...
[Courte citation de 8% de l'article original]