Observabilité et MLOps
Tracer, évaluer, versionner : MLflow, Langfuse, OpenTelemetry.
Formations 3
- Formation
MLflow pour les applications LLM : suivi, évaluation, registre, traces
Un serveur MLflow 3.17 auto-hébergé (PostgreSQL et stockage d'artefacts sous Docker Compose) pour un assistant RH Gemini : prompts versionnés avec alias, évaluations mlflow.genai avec règles et juge LLM, porte de promotion, modèle enregistré avec alias champion, traçage automatique des appels Gemini et comparaison dans l'interface.
- Formation
Langfuse auto-hébergé : traces, prompts, évaluations et coûts
Déployer Langfuse v4 chez soi avec Docker Compose, y tracer une application Gemini et un agent ADK, versionner les prompts, comparer deux versions sur un jeu de données avec un juge LLM et suivre le coût de chaque appel.
- Formation
Observabilité d'une application IA avec OpenTelemetry, Prometheus et Grafana
Instrumenter un assistant Gemini et un agent ADK selon les conventions gen_ai, faire passer métriques, traces et journaux par un collecteur OpenTelemetry vers Prometheus, Tempo et Loki, provisionner Grafana en code avec ses alertes, puis basculer l'export vers Cloud Monitoring et Cloud Trace.
