Un RAG de production digne de confiance
Un système RAG de qualité production renvoie des réponses fondées et citables tirées de vos propres documents — et refuse de deviner quand les sources sont absentes. La différence avec une démo n’est pas le modèle : c’est la qualité de la récupération, l’application du fondement et un banc d’évaluation qui mesure l’exactitude sur vos vraies questions. Cette approche axée sur l’évaluation, c’est ainsi que NorthSight Technologies bâtit du RAG pour les entreprises et les organismes publics au Canada.
- Le RAG permet à un LLM de répondre à partir de votre base de connaissances, avec des citations vers les documents sources.
- La plupart des échecs de RAG sont des échecs de récupération silencieux — le modèle masque le vide par une supposition assurée.
- La solution est de l’ingénierie, pas du « prompting » : meilleure récupération, application du fondement, comportement de refus et un jeu d’évaluation de référence bâti à partir de vraies questions d’utilisateurs.
- Avec des évaluations en place, chaque changement est noté avant sa mise en production, et la dérive est détectée avant que les utilisateurs ne la voient.
Ce qu’est le RAG — et à quoi il sert
La génération augmentée par récupération (RAG) est une architecture où le modèle répond à l’aide de passages récupérés dans votre dépôt de documents — politiques, contrats, manuels, billets, dossiers — au lieu de se fier à ce qu’il a mémorisé à l’entraînement. C’est le modèle standard lorsque les réponses doivent être à jour, propres à votre organisation et attribuables à une source. Pour le gouvernement et les industries réglementées, cette dernière propriété est l’essentiel : une réponse que vous ne pouvez retracer jusqu’à un document est une réponse que vous ne pouvez défendre.
Pourquoi les systèmes RAG hallucinent
Dans nos audits, l’hallucination du RAG n’est presque jamais un « problème de modèle ». La chaîne typique ressemble à ceci :
- Le bon passage existe mais n’a pas été récupéré — mauvais découpage, plongements faibles pour le vocabulaire du domaine, ou une question formulée autrement que le document.
- La récupération a renvoyé quelque chose, alors le pipeline a poursuivi — personne n’a vérifié si les passages contiennent réellement la réponse.
- Le modèle, avec un contexte mince et invité à être utile, a produit une réponse fluide, plausible et fausse.
Chaque maillon est corrigeable, mais seulement si vous pouvez le voir se produire — c’est pourquoi la mesure vient en premier.
La couche de fiabilité que nous bâtissons
- Récupération conçue pour votre corpus. Un découpage qui suit la structure des documents, une recherche hybride (sémantique + mots-clés) et un reclassement — ajustés selon des taux de récupération mesurés, pas des valeurs par défaut.
- Application du fondement. La réponse ne peut affirmer que ce que les sources récupérées appuient, avec des citations intégrées que les utilisateurs peuvent cliquer et vérifier.
- Refus honnête. Quand les sources sont insuffisantes, le système le dit et achemine vers un humain — en production, « je ne sais pas » est une fonctionnalité.
- Jeu d’évaluation de référence. De vraies questions d’utilisateurs avec réponses et sources vérifiées, notées automatiquement sur le taux de récupération, l’exactitude des réponses, le fondement et l’exactitude des citations. Chaque changement y est confronté; les régressions sont détectées avant le déploiement.
- Détection de dérive. À mesure que les documents et l’usage évoluent, des évaluations planifiées détectent tôt la dégradation de la qualité — avant que les utilisateurs ne perdent confiance dans le système.
Étude de cas
Un exemple générisé tiré de notre travail : un assistant de base de connaissances où nous avons traité la qualité comme un problème d’évaluation dès le premier jour — fonder les réponses sur la récupération, puis bâtir un jeu d’évaluation de référence à partir de vraies questions d’utilisateurs avec grilles de notation et contrôles de régression. Résultat : une exactitude mesurée plutôt que des anecdotes, une dérive détectée tôt et des réponses fondées plutôt que devinées. Nous serons heureux de vous présenter l’architecture réelle et les compromis lors d’un appel.
Foire aux questions
Qu’est-ce que le RAG (génération augmentée par récupération)?
Une architecture où le modèle répond aux questions à l’aide de documents récupérés dans votre propre base de connaissances, avec des citations vers les sources — au lieu de se fier uniquement à sa mémoire d’entraînement. C’est l’approche standard pour des réponses privées, à jour et attribuables.
Pourquoi notre prototype RAG donne-t-il de mauvaises réponses avec autant d’assurance?
Presque toujours : la récupération a échoué silencieusement et le modèle a comblé le vide. Sans application du fondement ni comportement de refus, un LLM produira sa meilleure supposition en prose fluide. La solution est l’ingénierie de la récupération, plus une règle voulant que les réponses n’affirment que ce que les sources appuient.
Comment mesurez-vous la qualité du RAG?
Un jeu d’évaluation de référence : de vraies questions, des réponses vérifiées, des sources vérifiées — notées sur le taux de récupération, l’exactitude, le fondement et l’exactitude des citations. Il s’exécute à chaque changement et selon un calendrier, de sorte que la qualité est un nombre que vous pouvez auditer et suivre dans le temps.
Le RAG peut-il fonctionner selon les exigences de résidence des données au Canada?
Oui — les plongements, la base vectorielle et l’inférence peuvent tous fonctionner dans des régions infonuagiques canadiennes ou sur des modèles auto-hébergés. Voyez IA pour le gouvernement au Canada pour savoir comment nous gérons la résidence et le niveau Protégé B.
Nous avons déjà bâti un système RAG. Pouvez-vous le corriger plutôt que le reconstruire?
Habituellement, oui. Nous commençons par un audit — en retraçant les défaillances réelles jusqu’à leur cause profonde — puis nous ajoutons la couche de fiabilité à ce que vous avez. Les reconstructions sont l’exception, pas la recommandation par défaut.