Le problème du changement de distribution qui brise l’IA moderne en production s’explique pour les développeurs qui déploient réellement ces éléments.
Vous avez formé le modèle. Les métriques étaient superbes. Vous l'avez déployé. Six mois plus tard, quelque chose ne va pas, mais votre tableau de bord de précision semble correct.
Ce qui s'est passé?
Si vous utilisez un système d'IA moderne à grande échelle, en particulier un système utilisant une architecture mixte d'experts, il y a de fortes chances que les scores de confiance de votre modèle ne soient plus alignés avec la réalité. Non pas parce que le modèle s’est détérioré au niveau de la prédiction. Parce que l'étalonnage s'est rompu silencieusement, sans erreur, sans avertissement.
Cet article explique ce que cela signifie, pourquoi cela arrive spécifiquement aux modèles MoE et ce que vous pouvez faire en tant que développeur.
Vérification rapide du vocabulaire
Avant de plonger dans le vif du sujet, deux termes dont vous avez besoin :
Calibrage : si votre modèle indique "Je suis confiant à 80 %", il devrait être correct dans 80 % des cas. Les scores de confiance d'un modèle calibré sont des estimations de probabilité honnêtes. Les scores de confiance d’un modèle non calibré sont essentiellement du bruit.
Changement de distribution : les données que votre modèle voit en production ne sont pas les mêmes que les données sur lesquelles il a été formé. La répartition des intrants dérive avec le temps. Il ne s’agit pas d’un cas limite, c’est l’état normal de tout modèle déployé.
L'architecture : mélange d'experts (MoE)
La plupart des modèles d’IA à grande échelle utilisent aujourd’hui MoE. L'idée est simple :
Au lieu d'un réseau géant, vous disposez de nombreux sous-réseaux spécialisés appelés experts. Un routeur examine chaque entrée et décide quel(s) expert(s) la gère. Cela vous permet de faire évoluer la capacité du modèle sans faire évoluer le calcul de manière linéaire.
Deux types de routage :
Hard Routing : entrée → routeur → UN expert → sortie Soft Routing : entrée → routeur → mélange pondéré de PLUSIEURS experts → sortieLe routage doux est plus expressif. C’est aussi là que l’étalonnage se complique.
Le ...
[Courte citation de 8% de l'article original]