درس 3 — Rag engine sync

01. Comprendre et choisir : RAG sur Google Drive, ce qui existe et ce que fait ce kit

6 دقائق قراءة

هذا المحتوى غير مترجم بعد. تُعرض النسخة الأصلية.

Le but : savoir en 10 minutes ce qu'est un RAG, quelles solutions existent pour « brancher un Drive » sur Google Cloud ou ailleurs, et pourquoi ce kit (sous-projet 1) est construit comme il l'est.


Sommaire

  1. Le RAG en 2 minutes
  2. Le marché : ce qui existe déjà
  3. Les 3 approches du dossier gcp_rag
  4. Ce que fait le kit 1, étape par étape
  5. Ce qu'il ne fait pas (volontairement)
  6. Vocabulaire

1. Le RAG en 2 minutes

Un modèle comme Gemini ne connaît pas vos documents. Le RAG (Retrieval-Augmented Generation) le lui fait lire au bon moment :

  Indexation (une fois, puis à chaque changement)          Question (à chaque fois)
  ─────────────────────────────────────────────           ──────────────────────────────────────────
  document ─► découpage en morceaux (« chunks »)          question ─► recherche des morceaux proches
           ─► chaque morceau devient un vecteur                     ─► reclassement (reranking)
              (« embedding ») rangé dans une base                    ─► Gemini répond AVEC ces morceaux,
                                                                        en citant les documents

La qualité dépend de 4 choses, toutes réglées dans ce kit : lire correctement les documents (tableaux des PDF), découper intelligemment, retrouver les bons morceaux (embeddings + reranking), et obliger le modèle à répondre uniquement avec eux et à citer ses sources.

Le plus difficile en pratique n'est pas le RAG, c'est la synchro : un document ajouté, modifié, déplacé ou supprimé dans Drive doit l'être aussi dans l'index, sans intervention.


2. Le marché : ce qui existe déjà

(État d'octobre 2026, vérifié sur la documentation officielle ; liens en fin de partie.)

2.1 Chez Google

SolutionDriveSharePoint / OneDriveSynchroDroits par utilisateurÀ savoir
Gemini Enterprise (ex-Agentspace), connecteursOui, fédéré (interroge Drive en direct, rien n'est copié)Oui, indexé (copie dans Google Cloud)Drive : toujours à jour. SharePoint/OneDrive : incrémentale toutes les 3 h au mieux, complète de 3 h à 7 jOui (chacun ne voit que ses documents)Licences par utilisateur. Drive exige un domaine Google Workspace. Les recherches Workspace refusent les comptes de service : l'appli doit agir avec l'identité de l'utilisateur (OAuth). Connecteur Drive absent de Terraform (console ou API) → sous-projet 2
Vertex AI RAG EngineOui, import d'un dossier (récursif)SharePoint oui (import)Aucune synchro continue : on relance l'import ; GCS : inchangé ignoré ; Drive : tout est réimporté à chaque fois (vérifié) ; supprimé = jamais retiréNon (tout le corpus pour tous)Marche avec n'importe quel compte, Gmail compris, si le dossier est partagé avec l'agent de service RAG. Si le partage manque : 0 fichier importé, aucune erreur → sous-projet 1 (ce kit ajoute la synchro et les contrôles)
Vertex AI Search (data store non structuré + GCS)Non (via GCS)NonImport GCS périodiqueVia ACL fournies à la mainUtile pour un site web ou un bucket ; pas pour Drive

2.2 Hors Google (SaaS)

SolutionCe qu'elle apporteLimite pour un projet GCP
RagieAPI RAG managée, connecteurs Drive, SharePoint, OneDrive, Notion… synchro automatiqueDonnées hors de GCP ; facturé par connecteur
Microsoft 365 Copilot / API RetrievalRecherche dans SharePoint et OneDrive avec les droits MicrosoftMonde Microsoft ; pas Drive
Amazon Bedrock Knowledge BasesConnecteur SharePoint planifiéMonde AWS
Open source (Onyx/Danswer…)Nombreux connecteurs, auto-hébergéÀ exploiter soi-même (base, index, mises à jour)

Conclusion. Pour rester dans GCP, sans Workspace ni licences, avec Drive et dépôt de fichiers, la brique la plus solide est RAG Engine… à qui il manque la synchro (suppressions), le contrôle des partages, une interface et le déploiement. C'est exactement ce qu'ajoute ce kit. Quand le client a Workspace et veut que chacun ne voie que ses documents, Gemini Enterprise natif (sous-projet 2) est la bonne réponse.


3. Les 3 approches du dossier gcp_rag

1. RAG Engine + synchro (ce kit)2. Gemini Enterprise natif3. Hybride
ComptesN'importe quel projet GCP (Gmail OK)Workspace + licences GELes deux
DriveImport + synchro toutes les 10 min (réglable) + boutonFédéré, temps réelSelon le client
Dépôt de fichiersOui (bucket)Oui (data store GCS)Oui
Droits par utilisateurNonOuiSelon le moteur
Tout en TerraformOuiPresque (connecteur Drive : API)Oui
Coût fixeBase RagManagedDb (voir 08)LicencesSelon

4. Ce que fait le kit 1, étape par étape

  Dossier(s) Drive partagé(s)           Vous, dans le navigateur
  en lecture avec 2 adresses                   │ (gcloud run services proxy)
           │                                   ▼
           │                      ┌──────────────────────────────────┐
           │                      │ Cloud Run « rag-kit » (privé)    │
           │                      │  page web + API + agent ADK      │
           │                      └──┬───────────┬────────────┬─────┘
           │          dépôt de fichier│  « Synchroniser »   │ recherche
           │                ▼         │           ▼            ▼
           │         bucket (uploads/)│   job « rag-kit-sync » ─► corpus RAG Engine
           └──────────────────────────┴─────────▲               (europe-west4)
                                  Cloud Scheduler (toutes les 10 min)
  1. Brancher : vous collez l'URL d'un dossier Drive dans l'interface. Elle vérifie qu'elle le voit, sinon elle vous donne les 2 adresses à mettre dans le partage (04).
  2. Déposer : glisser-déposer → fichier rangé dans le bucket.
  3. Synchroniser : le job compare ce qui devrait être indexé (fichiers des dossiers + dépôts) à ce qui l'est, retire ce qui a disparu, puis importe seulement le nouveau et le modifié. Il tourne toutes les 10 min et à chaque action dans l'interface (06).
  4. Demander : l'agent ADK cherche (8 meilleurs morceaux, reclassés), répond uniquement avec eux, et cite chaque document avec un lien (05).

5. Ce qu'il ne fait pas (volontairement)

  • Droits par utilisateur : toute personne qui ouvre l'interface interroge tout le corpus. Mettez dans un même kit des documents qui peuvent être lus par les mêmes personnes, ou passez au sous-projet 2.
  • Temps réel : jusqu'à 10 min de décalage pour un changement fait dans Drive (0 pour un dépôt ou un clic sur « Synchroniser »).
  • Très gros volumes : au-delà de quelques milliers de fichiers par dossier, le listing complet à chaque passe devient lent ; il faudra passer à l'API changes de Drive (06).
  • Mémoire longue des conversations : elles vivent dans le service (1 instance) et disparaissent à son redémarrage.

6. Vocabulaire

MotEn clair
CorpusL'index RAG Engine : la liste des fichiers et de leurs morceaux vectorisés
RagManagedDbLa base vectorielle gérée par Google derrière le corpus (Spanner)
Agent de service RAGservice-<numéro>@gcp-sa-vertex-rag.iam.gserviceaccount.com : le compte Google qui importe les fichiers. Il doit pouvoir lire le dossier Drive et le bucket
Compte du kitrag-kit-sa@<projet>.iam.gserviceaccount.com : le compte de l'interface, de l'agent et du job. Il liste les dossiers Drive (pour voir les suppressions)
Layout parserLecteur Document AI qui comprend la mise en page (tableaux, titres) des PDF
RerankingSecond tri des morceaux trouvés par un modèle spécialisé, plus précis que la seule distance vectorielle
ADKAgent Development Kit : la bibliothèque Python de Google pour écrire l'agent

Sources : RAG Engine, ingestion · Gemini Enterprise, connecteurs · Gemini Enterprise, Google Drive · Gemini Enterprise, OneDrive · Gemini Enterprise, Terraform · RAG Engine, facturation · RAG Engine, mode Serverless · Ragie, Google Drive · Microsoft, API Retrieval

التالي