RAG est un problème d'ingénierie de données déguisé en IA

DEV - 27/01
La génération augmentée par récupération (RAG) est généralement présentée comme un modèle d'IA intelligent : prenez un LLM, boulonnez...

La génération de récupération augmentée (RAG) est généralement présentée comme un modèle d'IA intelligent : prenez un LLM, installez une base de données vectorielle, récupérez les documents pertinents, et voilà : votre modèle est désormais « fondé » sur des données privées. Ce cadrage est séduisant car il donne l'impression que RAG est une préoccupation de temps d'inférence. Choisissez un bon modèle d'intégration, réglez top_k, écrivez une meilleure invite et le système s'améliore.

En production, ce modèle mental s’effondre presque immédiatement.

Ce qui détermine réellement si un système RAG fonctionne dans le temps n'a pas grand-chose à voir avec une ingénierie rapide ou un choix de modèle. Les modes de défaillance dominants sont banals, peu glamour et douloureusement familiers à quiconque a construit des systèmes de données à grande échelle : données obsolètes, pipelines brisés, dérive des schémas, remplissages incohérents et absence de contrats entre producteurs et consommateurs.

RAG n’échoue pas parce que les LLM hallucinent.

RAG échoue parce que les systèmes de données dérivent.

Une fois que vous acceptez cela, l’architecture d’un « bon » système RAG change complètement.

Du Toy RAG à la réalité de production

Commençons par un pipeline RAG simplifié qui apparaît dans la plupart des didacticiels :

  1. Charger des documents
  2. Divisez-les en morceaux
  3. Générer des intégrations
  4. Stockez-les dans une base de données vectorielles
  5. Récupérer les meilleurs morceaux au moment de la requête
  6. Envoyez-les à un LLM

Ce pipeline suppose quelque chose de critique mais rarement affirmé : que les documents sont statiques.

Dans les systèmes réels, les documents changent. Les politiques sont mises à jour. Les bases de connaissances sont corrigées rétroactivement. Les enregistrements sont supprimés pour des raisons de conformité. Les significations changent même lorsque le texte ne change pas. Si votre magasin d'intégration ne reflèt...
[Courte citation de 8% de l'article original]