RAG répond faux avec assurance : changer le modèle ou les données ?

Source conceptuelle : évaluateurs RAG de Microsoft Learn. La documentation sépare récupération et qualité de réponse. Méthode et exemples suivants sont une analyse indépendante, pas une présentation produit ni un déploiement réel.

Vous interrogez l’assistant sur l’achat d’équipements. Sa réponse fluide comporte un lien, mais renvoie à une procédure périmée. Ce n’est pas nécessairement une hallucination : il peut avoir fidèlement résumé le mauvais document.

Une erreur, plusieurs causes

Le RAG fournit généralement des passages au modèle. L’échec peut précéder la génération : document absent de l’index, bon passage manqué, ancienne version mieux classée. Ou le bon texte arrive, mais la réponse dépasse les preuves.

Je ne réduis pas la qualité à une note. Il faut séparer recherche du témoignage et usage de celui-ci. Un meilleur modèle nourri du même mauvais contexte ne garantit pas un meilleur résultat accepté.

Une citation vaut plus qu’un joli lien

Le lien ne prouve pas l’affirmation. Le réviseur doit retrouver le passage et comprendre date et périmètre. La fidélité ne prouve pas la validité actuelle : une source ancienne peut donner une réponse étayée mais inacceptable.

Cette grille n’est pas une liste de fonctions garanties. Résoudre un conflit exige responsable et règle interne ; le modèle ne doit pas devenir tacitement l’autorité de politique.

Partir des vraies questions

1. Recueillir les questions récurrentes sans données confidentielles.
2. Définir documents et passages attendus avec le responsable.
3. Ajouter cas sans réponse, ambigus, périmés et interdits d’accès.
4. Noter séparément recherche, citation et acceptation.

Comparez les évolutions sur ce jeu. Changer simultanément modèle, consignes, découpage et recherche masque la cause du résultat. Une démonstration réussie ne représente pas toutes les questions.

Les permissions font partie de la qualité

Une réponse exacte divulguée à une personne non autorisée n’est pas une réussite. Vérifiez droits documentaires et fuites par allusion ou résumé. Les journaux ne doivent pas devenir une archive ouverte de textes sensibles : conservez identifiants et métadonnées nécessaires avec des accès adaptés.

Questions de décision

Quand améliorer le modèle ?

Lorsque les bonnes preuves autorisées arrivent, mais sont mal utilisées ou présentées, et qu’un essai contrôlé montre un progrès acceptable. Coût et délai restent des critères.

L’évaluation automatique suffit-elle ?

Elle facilite les comparaisons répétées mais peut se tromper. Les cas limites ou sensibles exigent le responsable du contenu. Une bonne note n’est pas une immunité.

Qui maintient l’actualité des documents ?

Décidez avant. Je propose propriétaire, date de révision et retrait des versions périmées. « Le modèle le verra » ne remplace pas l’entretien.

Le critère final est une réponse acceptée à une question autorisée, réellement soutenue par ses preuves. Côté performance : goulots CPU et GPU.

Source vérifiée le 2 novembre 2026. Exemples hypothétiques et méthode originale, sans garantie d’exactitude d’un modèle ou système.