Évaluation avancée des agents : trajectoires, juges calibrés et garde-fous testés

« L'agent a bien répondu » ne suffit pas. Un agent de support peut donner le bon solde en ayant appelé le mauvais outil, réussir neuf demandes sur dix et exécuter un virement interdit à la dixième, ou être noté « excellent » par un LLM-juge qui ne mesure pas ce que vous croyez. Cette formation vous apprend à évaluer un agent comme un système : ce qu'il fait, ce qu'il dit, et ce qu'il ne doit jamais faire.

Fil rouge : l'assistant de support d'une banque fictive, la Banque Atelier, en deux versions. La v1 est naïve (l'identité du client vient du modèle, aucun contrôle des virements dans le code). La v2 est durcie (identité de session, garde-fou en code). Vous mesurez l'écart entre les deux, chiffres réels à l'appui.

Pour qui ?

• Développeurs et responsables qualité qui ont déjà construit un agent ADK avec des outils.
• À l'aise avec Python et pytest. Aucune expérience préalable de l'évaluation de LLM n'est nécessaire.

Ce que vous construisez

flowchart LR
  E[("evalset.json (format ADK)")] --> H["harness.py : trajectoires"]
  G[("guardrail_cases.json")] --> GF["guardrails.py : règles vérifiées en code"]
  L[("human_labels.json")] --> J["llm_judge.py : juge + calibration"]
  A["bank_agent.py v1 / v2"] --> H
  A --> GF
  H --> R["run_all.py → results.json"]
  GF --> R
  J --> R
  R --> C["report.py --ci : rapport.md + seuils"]
  C -->|"code de sortie 1"| X["mise en production bloquée"]

Prérequis techniques

• Python 3.10 ou plus récent, pip install -r requirements.txt (ADK 2.10.0).
• Une clé Gemini (Google AI Studio) ou un projet Google Cloud avec Vertex AI.

Programme

Code complet dans files/ : bank_agent.py, harness.py, guardrails.py, llm_judge.py, run_all.py, report.py, test_lab.py, et le rapport réellement produit : rapport.md.

En local ou avec Vertex AI ?