A/B, détection de dérive et revue des erreurs

Hors ligne et en ligne : deux regards complémentaires

flowchart LR
  A["Jeu doré"] --> B["CI hors ligne"]
  B --> C["Déploiement progressif / A-B"]
  C --> D["Signaux en ligne : replis, pouces, escalades"]
  D --> E["Revue des erreurs hebdomadaire"]
  E -- "nouveaux cas validés" --> A
  E -- "correctifs" --> B

A/B : comparer deux versions sur du vrai trafic

Une fois la CI passée, la version B est servie à une fraction des utilisateurs (par exemple 10 %), la version A au reste. On compare des indicateurs définis à l'avance :

• taux de pouces vers le bas, taux de repli, taux d'escalade vers un humain (support client) ;
• coût et latence par requête ;
• sur un échantillon de chaque bras : score du LLM-juge (fidélité) sans référence.

import hashlib

def bras(utilisateur_id, part_b=0.10, experience="prompt-v8"):
    """Affectation stable : un utilisateur reste dans le même bras."""
    h = int(hashlib.sha256(f"{experience}:{utilisateur_id}".encode()).hexdigest(), 16)
    return "B" if (h % 10_000) / 10_000 < part_b else "A"

assert bras("u-1") == bras("u-1")  # stable

Détecter la dérive

Deux dérives à surveiller :

from statistics import mean

def alerte_derive(scores_reference, scores_semaine, seuil_bas=0.55, ecart_max=0.10):
    """Compare la part de questions « mal couvertes » (score top-1 < seuil_bas)."""
    part = lambda s: mean(x < seuil_bas for x in s)
    ecart = part(scores_semaine) - part(scores_reference)
    return ecart > ecart_max, round(ecart, 3)

ref = [0.82, 0.77, 0.91, 0.60, 0.85, 0.79, 0.88, 0.73]
semaine = [0.81, 0.42, 0.50, 0.86, 0.47, 0.79, 0.52, 0.90]
print(alerte_derive(ref, semaine))  # (True, 0.5) : 4 questions sur 8 mal couvertes contre 0

La revue des erreurs

Une séance courte et régulière (par exemple 45 minutes par semaine) avec un développeur et un expert métier :

1. Échantillonner : tous les pouces vers le bas, une partie des replis, un échantillon aléatoire de réponses « OK ».
2. Classer chaque erreur avec la typologie du module 1 (hallucination, mauvaise recherche, obsolète…).
3. Compter par type : on corrige d'abord la catégorie la plus fréquente.
4. Convertir chaque erreur confirmée en cas du jeu doré, avec la bonne réponse validée par l'expert.
5. Décider du correctif (index, prompt, garde-fou) et le faire passer par la CI.

Exercice : préparer une revue des erreurs

Voici six retours négatifs de la semaine sur l'assistant RH fictif. Classez-les, comptez par type, et proposez les deux premières actions.

1. Réponse sur le télétravail fondée sur la charte 2024.
2. « Je ne trouve pas » pour une question sur la mutuelle, alors que le document existe.
3. Invente un délai de prévenance de 15 jours.
4. Charte télétravail 2024 citée à nouveau, autre formulation.
5. « Je ne trouve pas » sur la prévoyance : document présent mais intitulé « régime de protection sociale ».
6. Réponse juste mais sans citation.

Je sais faire

• Expliquer la complémentarité entre évaluation hors ligne et en ligne.
• Mettre en place une affectation A/B stable et définir les indicateurs à l'avance.
• Détecter une dérive des entrées ou de la qualité avec des signaux simples.
• Animer une revue des erreurs qui produit des correctifs et de nouveaux cas.