Performance, coût et latence à l'échelle

Un prototype qui répond en 2 secondes pour un centime ne dit rien de la production : à 50 000 questions par jour, chaque dixième de seconde et chaque millième de dollar se multiplient. Cette formation apprend à mesurer une application LLM comme un système (latence au premier token, percentiles, débit, tokens, coût), puis à appliquer les leviers qui comptent, chiffres réels à l'appui.

Fil rouge : le support client d'une boutique fictive de luminaires, Lumen & Co. Une base de connaissances d'environ 1 000 tokens, 16 questions dont 4 reformulations, et trois stratégies comparées sur le même banc :

• big : toujours le grand modèle (gemini-3.8-flash) ;
• small : toujours le petit (gemini-3.5-flash-lite) ;
• router : cache sémantique, puis petit modèle, escalade vers le grand si la confiance est basse.

Pour qui ?

• Développeurs et architectes qui ont déjà une application Gemini en Python et doivent la passer à l'échelle.
• Vous connaissez asyncio dans les grandes lignes, les embeddings et le JSON structuré.
• Pour le socle d'infrastructure (quotas, budgets, IAM), voyez Architecture IA d'entreprise sur Google Cloud.

Ce que l'on construit

flowchart LR
  Q["Question client"] --> E["Embedding (gemini-embedding-2, 768 dim.)"]
  E --> C{"Cache sémantique : cosinus >= 0,90 ?"}
  C -->|"oui"| R0["Réponse en cache (0 appel LLM)"]
  C -->|"non"| S["flash-lite en streaming : réponse + confiance"]
  S --> D{"confiance >= seuil ?"}
  D -->|"oui"| R1["Réponse"]
  D -->|"non, et budget OK"| B["flash : réponse"]
  B --> R2["Réponse"]
  R1 --> M["Mesures : TTFT, latence, tokens, coût, qualité"]
  R2 --> M

Résultats mesurés (2026-10-15, 16 questions, 4 requêtes en parallèle)

Le détail, la méthode et les limites de ces chiffres (16 questions, c'est peu) sont dans le module 4.

Prérequis techniques

• Python 3.10+, pip install -r requirements.txt (google-genai, numpy, python-dotenv, pytest).
• Une clé de l'API Gemini (Google AI Studio) dans GOOGLE_API_KEY, ou Vertex AI avec GOOGLE_GENAI_USE_VERTEXAI=TRUE et vos identifiants ADC.

Programme

Le lab

Le code est dans files/ : router.py (routeur, cache, mesures), bench.py (banc de charge), extras.py (compression, cache explicite, batch), la base faq.md, les questions questions.json, les tests sans clé test_router.py et les résultats JSON bruts des exécutions.