RAG : ce que ça résout vraiment
Un LLM seul hallucine et n’a pas votre contexte. RAG = retrieval + génération.
Le risque se déplace :
- qualité des sources,
- droits d’accès,
- traçabilité,
- évaluation.
Architecture de référence
- Ingestion : documents, nettoyage, chunking.
- Index : vector + metadata.
- Retriever : filtrage par droits + reranking.
- Génération : prompt + citations + guardrails.
Design de sources (ce qui fait 80% de la qualité)
- Source of truth : pages “références” vs pages “brouillon”.
- Ownership : qui maintient la source, et à quelle fréquence.
- Qualité : règles de rédaction, sections, dates, obsolescence.
- Métadonnées : type de document, produit, pays, niveau de sensibilité.
Qualité : comment la mesurer
- Jeux de questions/réponses de référence.
- Mesures :
- précision (réponse correcte),
- complétude (répond à toutes les sous-questions),
- groundedness (ancrage sources),
- taux de refus (quand il faut dire “je ne sais pas”).
- A/B sur prompts et chunking.
Évaluation : un cadre simple et actionnable
- Construire 30–100 Q/A de référence (par domaine métier).
- Mesurer précision, complétude, groundedness, refus.
- Itérer : chunking, retriever, reranking, prompt.
Sécurité
- AuthN/AuthZ : filtrage par rôles.
- Secrets et clés API : rotation, vault.
- Journalisation : questions posées, sources consultées, actions.
- PII : masquage, minimisation.
Contrôle d’accès “non négociable”
- Filtrage avant retrieval (par rôle, équipe, projet).
- Masquage des données sensibles (PII, secrets, contrats).
- Journalisation : questions, sources consultées, actions.
Gouvernance
- Catalogue des sources.
- Process de mise à jour.
- Cycle de vie (archivage, suppression).
- Comité de validation sur contenus sensibles.
Checklist
- Sources qualifiées et ownership défini
- Filtrage par droits
- Évaluation automatisée
- Logs et audit
- Procédure d’incident
Erreurs fréquentes
- Connecter des sources sans vérifier leur qualité.
- Pas de filtrage par droits (tout le monde voit tout).
- Pas de jeu d’évaluation (impossible de mesurer les régressions).
- Pas de logs (impossible de tracer une réponse incorrecte).
FAQ
Le RAG remplace-t-il un moteur de recherche ? Non. Le RAG génère une réponse synthétique à partir de sources. Un moteur de recherche renvoie des résultats. Les deux sont complémentaires.
Quelle taille de jeu d’évaluation ? 30–100 Q/A de référence par domaine est un bon départ. L’important est de le maintenir et de l’enrichir au fil des retours utilisateurs.