Fenêtre de contexte et température

La fenêtre de contexte : le plan de travail du modèle

La fenêtre de contexte est la quantité maximale de texte (comptée en tokens) que le modèle peut prendre en compte en même temps pour produire sa réponse.

Dans une conversation, à chaque nouveau message, l'assistant renvoie au modèle tout l'historique : c'est comme ça qu'il « se souvient » de ce qui a été dit.

flowchart LR
  subgraph F["Fenêtre de contexte (limitée en tokens)"]
    S["Consignes de l'assistant"]
    D["Documents joints"]
    H["Historique de la conversation"]
    Q["Votre nouvelle question"]
  end
  F --> M["Modèle"]
  M --> R["Réponse"]
  X["Ancien message trop ancien"] -.->|"sorti de la fenêtre ou résumé"| F

Ce que ça change pour vous

• Les fenêtres actuelles sont grandes : selon le modèle, elles vont, comme ordre de grandeur, de l'équivalent de quelques dizaines de pages à plusieurs centaines de pages, voire davantage. Vérifiez la documentation du modèle que vous utilisez.
• Une conversation très longue finit par déborder : l'assistant résume ou oublie les débuts. Si l'IA semble « oublier » une consigne donnée il y a longtemps, c'est souvent ça.
• Même dans la fenêtre, le modèle peut accorder moins d'attention à un détail noyé au milieu d'un très long document. Mieux vaut fournir le passage pertinent que 300 pages « au cas où ».
• Plus de contexte = plus de coût et plus de temps de réponse (module 2).

La température : le curseur prudence / créativité

Rappelez-vous la leçon 1 : à chaque étape, le modèle calcule une probabilité pour chaque token possible. Reste à choisir lequel écrire. C'est là qu'intervient la température.

• Température basse (proche de 0) : le modèle choisit presque toujours le token le plus probable. Réponses stables, prévisibles, parfois un peu plates.
• Température haute : il s'autorise plus souvent des tokens moins probables. Réponses variées, créatives, mais avec plus de risques d'écarts et d'erreurs.

Dans les assistants grand public (Claude.ai, l'application Gemini…), la température n'est généralement pas réglable : elle est fixée par l'éditeur. Elle l'est en revanche quand on utilise le modèle via une API (une interface pour les développeurs) ou dans certains outils d'entreprise. Mais comprendre ce curseur explique un phénomène que vous avez sûrement remarqué : poser deux fois la même question ne donne pas toujours la même réponse.

Pour les curieux : la température en 10 lignes

Vous n'avez pas besoin de lire ce code pour suivre la formation. Il montre simplement comment la température « écrase » ou « aplatit » les probabilités.

import math

scores = {"Paris": 5.0, "Lyon": 2.0, "Marseille": 1.5}  # scores bruts du modèle (exemple)

def probabilites(scores, temperature):
    exp = {mot: math.exp(s / temperature) for mot, s in scores.items()}
    total = sum(exp.values())
    return {mot: round(v / total, 3) for mot, v in exp.items()}

print(probabilites(scores, 0.5))  # Paris écrase tout : choix quasi certain
print(probabilites(scores, 2.0))  # les probabilités se rapprochent : plus de variété

Exercice : diagnostiquer trois situations

Pour chaque situation, dites si l'explication tient à la fenêtre de contexte, à la température, ou aux deux, et proposez une parade.

1. Marc demande deux fois « Propose un slogan pour notre séminaire » et obtient deux slogans différents.
2. Leïla colle un rapport de 400 pages et demande le chiffre d'une note de bas de page en page 212. La réponse est approximative.
3. Après 2 heures d'échanges sur un projet, l'assistant recommence à tutoyer alors qu'on lui avait demandé de vouvoyer.

Je sais faire

• Expliquer la fenêtre de contexte avec l'analogie du plan de travail
• Expliquer pourquoi l'assistant « oublie » parfois une consigne ancienne
• Expliquer ce que fait la température et quand la baisser
• Expliquer pourquoi une même question peut donner deux réponses différentes