Langfuse auto-hébergé : traces, prompts, évaluations et coûts

La Mutuelle Arvea (fictive, 900 salariés) a mis un assistant à disposition de ses 140 conseillers. Trois semaines plus tard, le responsable du service client transmet une réclamation : un conseiller a annoncé un délai de résiliation faux, « parce que l'assistant l'a dit ». Personne ne peut dire quelle question a été posée, quelle fiche a été retrouvée, quelle version du prompt tournait ce jour-là, ni combien coûte l'outil par conseiller. La DSI refuse par ailleurs d'envoyer les conversations, qui contiennent des données d'adhérents, vers un SaaS hors de son contrôle.

Ce projet construit la réponse : une instance Langfuse hébergée par l'équipe, dans laquelle chaque appel de modèle est tracé, rattaché à un conseiller et à une conversation, relié à la version du prompt qui l'a produit et chiffré en dollars. Les changements de prompt passent par une expérience mesurée avant d'atteindre la production.

Capture réelle du 2026-10-15 : un tour de l'agent ADK. L'agent cherche une procédure, n'en trouve pas, ouvre un ticket. Chaque appel au modèle affiche sa durée et son coût.

Ce que vous livrez

Architecture

flowchart LR
  subgraph APP["Votre code (Python)"]
    G["Appli Gemini<br/>(génération manuelle)"]
    A["Agent ADK<br/>(OpenInference)"]
    E["Expériences<br/>+ juge LLM"]
  end
  subgraph LF["Langfuse auto-hébergé (docker compose -p lab-langfuse)"]
    W["langfuse-web :3000<br/>UI + API + OTLP"]
    K["langfuse-worker<br/>ingestion, coûts"]
    PG[("PostgreSQL<br/>prompts, datasets, comptes")]
    CH[("ClickHouse<br/>observations, scores")]
    R[("Redis<br/>files d'attente, cache")]
    S3[("MinIO (S3)<br/>événements bruts, médias")]
  end
  G -->|"OTLP/HTTP"| W
  A -->|"OTLP/HTTP"| W
  E -->|"OTLP/HTTP"| W
  W --> S3
  W --> R
  R --> K
  K --> CH
  K --> PG
  W --> PG
  W --> CH
  GEM["API Gemini"]
  G --> GEM
  A --> GEM
  E --> GEM

Stack et coût

Coût mesuré : make e2e complet (4 questions de démonstration, 16 réponses évaluées, 16 jugements) a coûté 0,029 USD le 2026-10-15, dont 0,026 USD pour le juge. Langfuse lui-même ne coûte que la machine : 2,6 Go de RAM mesurés pour les 6 conteneurs après le test complet.

Prérequis

• Docker 24+ avec Compose v2.24 ou plus récent, 4 Go de RAM libres, ports 3000 et 9090 disponibles.
• Python 3.10+, make, openssl.
• Une clé API Gemini (Google AI Studio). Le palier payant est conseillé : une expérience enchaîne une trentaine d'appels.
• Avoir déjà écrit un agent ADK simple et une requête generate_content.

Programme

Le code complet est dans files/ : commencez par le README.