Pourquoi le « simple message d’invite » échoue sur les données privées : une analyse post-mortem de RAG

Le problème

Vous disposez d'un manuel interne de 400 pages comprenant des règles de conformité, des politiques RH et des runbooks d'ingénierie. Vous demandez à un LLM : « Quelle est la chaîne d’approbation pour un budget supérieur à 50 000 $ ? »

Sans RAG, le modèle hallucine : « Le vice-président des finances et le CTO doivent tous deux approuver. » Mais votre véritable politique dit : « Uniquement le directeur financier pour > 50 000 $, plus une note du conseil d'administration si > 200 000 $.

Le cœur du problème : les LLM sont gelés au moment de la formation. Ils ne connaissent pas vos documents privés. La mise au point est coûteuse, est en retard par rapport aux mises à jour et souffre toujours d’une fuite des connaissances paramétriques. RAG résout le problème spécifique de l’ancrage de la génération dans des faits nouveaux, exclusifs ou à longue traîne sans recyclage.

Mais le RAG naïf (chunk → embed → retrieve → stuff into prompt) se brise de manière surprenante. Cet article passe en revue une véritable défaillance, trois modes de défaillance courants et les garde-fous que nous avons construits pour préparer RAG à la production.

Essai à blanc : répondre à la question d’un employé sur le congé parental

Scénario : un employé demande à un robot Slack : « De combien de semaines de congé parental payé ai-je droit et dois-je en informer les RH avant la naissance ? »

La source est une politique de congé parental au format PDF v4.2 d...
[Courte citation de 8% de l'article original]