Atelier

Lección 4 — Ce que l'IA sait et ne sait pas faire

Hallucinations et connaissances figées

5 min de lectura

Este contenido aún no está traducido. Se muestra la versión original.

Hallucinations et connaissances figées

Qu'est-ce qu'une hallucination ?

On parle d'hallucination quand l'IA produit une information fausse ou inventée, présentée avec la même assurance qu'une information juste. Exemples typiques :

  • une référence (article de loi, livre, étude, jurisprudence) qui n'existe pas ;
  • une citation attribuée à quelqu'un qui ne l'a jamais dite ;
  • un chiffre précis sorti de nulle part ;
  • une fonctionnalité d'un logiciel qui n'existe pas.

Pourquoi ça arrive

Souvenez-vous du module 1 : le modèle produit le texte le plus plausible, token après token. Il n'a pas de mécanisme interne qui vérifie chaque affirmation dans une source fiable.

flowchart TD
  Q["Question : quelle étude a montré X ?"] --> P{"Le modèle a-t-il vu cette info souvent ?"}
  P -->|"Oui, info fréquente"| V["Réponse probablement juste"]
  P -->|"Non, info rare ou inexistante"| H["Il produit quand même un texte plausible"]
  H --> I["Titre, auteur, année inventés mais crédibles"]

Les hallucinations sont plus fréquentes quand :

SituationExemple
Le sujet est rare ou très pointuUn règlement interne, un produit de niche
On demande des détails précisNuméros d'articles, dates exactes, URL
L'information est récenteUne loi votée le mois dernier
La question contient une fausse prémisse« Pourquoi Victor Hugo a-t-il reçu le prix Nobel ? » (il ne l'a jamais reçu)

Les modèles récents hallucinent moins qu'avant et avouent plus souvent leur incertitude, grâce notamment au RLHF. Mais le risque zéro n'existe pas.

Laquelle de ces demandes présente le plus fort risque d'hallucination ?

Les connaissances figées

Un modèle connaît le monde jusqu'à sa date de coupure (vue au module 1). Après, rien. Conséquences :

  • il peut ignorer un changement de loi, une nouvelle version de logiciel, un événement récent ;
  • il peut ne pas savoir quel jour on est si l'assistant ne le lui indique pas ;
  • il peut présenter comme actuelle une information périmée.

Beaucoup d'assistants compensent avec une recherche web ou un accès à vos documents : le modèle reçoit alors des informations fraîches dans sa fenêtre de contexte. C'est un outil ajouté, pas une capacité du modèle lui-même (module 3).

Les 4 réflexes anti-hallucination

  1. Fournir la source plutôt que demander de mémoire : collez le texte, joignez le document. « D'après ce document… » est bien plus fiable que « D'après tes connaissances… ».
  2. Autoriser le « je ne sais pas » : écrivez explicitement « Si l'information n'est pas dans le document, dis-le plutôt que de deviner. »
  3. Demander les passages cités : « Cite la phrase exacte du document sur laquelle tu t'appuies. » Vous vérifiez en quelques secondes.
  4. Vérifier ce qui engage : chiffres, noms, dates, références juridiques, tout ce qui part chez un client ou dans une décision. Plus l'enjeu est fort, plus la vérification humaine est obligatoire.

Quelles pratiques réduisent réellement le risque d'hallucination ? (plusieurs réponses)

Exercice : piéger (gentiment) l'IA

Dans votre assistant, testez ces deux demandes dans deux conversations séparées :

  1. Résume le livre "Les Algorithmes du Lundi" de Jeanne Moreau-Lefèvre, paru en 2011. (Ce livre est inventé pour l'exercice.)
  2. Le livre "Les Algorithmes du Lundi" de Jeanne Moreau-Lefèvre existe-t-il ? Si tu n'en es pas sûr, dis-le clairement.

Comparez les réponses. Puis réécrivez la première demande pour qu'elle soit « sûre ».

Voir la solution

Ce que vous pouvez observer :

  • Selon le modèle, la demande 1 peut produire un résumé inventé, plausible et détaillé : c'est une hallucination provoquée par une fausse prémisse (la question suppose que le livre existe). Les modèles récents répondent souvent qu'ils ne connaissent pas ce livre, ce qui est le bon comportement.
  • La demande 2 autorise le doute : le modèle indique beaucoup plus volontiers qu'il ne trouve pas trace de ce livre.

Une version sûre de la demande :

Je cherche des informations sur un livre intitulé « Les Algorithmes du Lundi » de Jeanne Moreau-Lefèvre (2011). Indique d'abord si tu as des informations fiables sur ce livre. Si ce n'est pas le cas, dis-le et n'invente aucun contenu. Si tu en as, résume-le en précisant ton niveau de certitude.

Retenez le principe : ne pas présupposer, autoriser le doute, demander le niveau de certitude.

Je sais faire

  • Définir une hallucination et en donner deux exemples
  • Expliquer pourquoi un LLM peut halluciner
  • Expliquer ce que sont des connaissances figées et comment on les compense
  • Appliquer les 4 réflexes anti-hallucination dans mes demandes
Siguiente