Vertex AI Pipelines pour un cycle LLM reproductible

Le support informatique d'Assurances Ventoux, mutuelle de 900 collaborateurs (entreprise fictive), route chaque jour environ 400 tickets internes vers cinq files : accès, matériel, logiciel, paie, achats. Le routage est fait par Gemini avec un prompt de quinze lignes. En septembre, quelqu'un a « amélioré » ce prompt un vendredi soir ; le lundi, les demandes de renouvellement de licence partaient en file logiciel, où personne ne valide de devis. Il a fallu deux jours pour retrouver quelle version tournait, sur quel jeu on l'avait testée, et avec quel score.

La demande : qu'aucun prompt n'arrive en production sans avoir battu la version en place sur un jeu de référence, et que l'on puisse dire, pour chaque version, qui l'a évaluée, sur quelles données, avec quel résultat. Ce projet construit ce circuit sous la forme d'un pipeline Kubeflow (KFP v2) exécutable sur votre poste et sur Vertex AI Pipelines.

Ce que vous livrez

• Cinq composants KFP v2 testés sans réseau : préparation du jeu, lecture de la production, évaluation Gemini, porte de promotion, promotion avec historique.
• Un pipeline compilé en YAML, versionnable, soumis tel quel à Vertex AI Pipelines.
• Des métriques (exactitude, latence médiane, tokens, échecs) et une matrice de confusion enregistrées comme artefacts ML Metadata, et une ligne par évaluation dans Vertex AI Experiments.
• Un cache maîtrisé : ce qui doit être recalculé l'est, ce qui ne doit jamais l'être (la lecture du registre, la promotion) ne l'est pas.
• make cloud-up, make e2e, make cloud-down : création du bucket, exécution réelle, suppression vérifiée.

Architecture

flowchart LR
  REF[("data/reference.jsonl<br/>20 tickets étiquetés")] --> PREP["prepare-dataset<br/>validation, dédoublonnage, empreinte"]
  REG[("registre<br/>production.json")] --> LOAD["load-production<br/>jamais en cache"]
  PREP --> EC["evaluate-prompt<br/>candidat v2"]
  PREP --> EP["evaluate-prompt-2<br/>production v1"]
  LOAD --> EP
  EC -- "metrics" --> GATE{"compare-versions<br/>seuil, gain, échecs"}
  EP -- "metrics" --> GATE
  GATE -- "promote" --> PROM["promote<br/>production.json + history/"]
  PROM --> REG
  EC -. "artefacts" .-> MD[("Vertex ML Metadata<br/>+ Experiments")]
  EP -. "artefacts" .-> MD

Stack, coût, durée

Coût mesuré de make run : 38 appels Gemini, environ 19 000 tokens, moins d'un centime. Une exécution sur Vertex AI coûte 0,03 $de frais par exécution de pipeline, plus les machines des six étapes (de l'ordre de 0,15$ de l'heure pour une e2-standard-4 au tarif public), soit quelques centimes. Durée : 5 h de lecture et de pratique ; make run prend 3 min 17 s.

Prérequis

• Python courant, notions de prompts et d'évaluation de LLM.
• Pour make run : une clé d'API Gemini, ou gcloud auth application-default login et GOOGLE_GENAI_USE_VERTEXAI=TRUE.
• Pour make e2e : un projet Google Cloud avec l'API Vertex AI activée et le quota ci-dessus.
• Sans rien de tout cela : make test (12 tests, sans réseau) et la compilation restent possibles.

Programme

Le dépôt complet est dans files/ ; commencez par son README.