Tokens et prédiction du mot suivant

LLM : trois lettres, une idée simple

LLM veut dire Large Language Model, en français grand modèle de langage.

Modèle : un programme qui a appris à partir d'exemples plutôt qu'à partir de règles écrites à la main.
De langage : il travaille sur du texte (et, pour les plus récents, aussi sur des images, du son…).
Grand : il a été entraîné sur une quantité gigantesque de textes, et il contient énormément de « réglages internes » (on parle de paramètres).

Claude (de l'entreprise Anthropic), Gemini (de Google), GPT (d'OpenAI, utilisé dans ChatGPT) ou Mistral sont des LLM. L'application que vous utilisez (la fenêtre de discussion) est l'assistant ; le LLM est le moteur qui tourne dessous.

L'auto-complétion de votre téléphone, en beaucoup plus fort

Quand vous tapez « Je suis en » sur votre téléphone, il vous propose « retard », « route », « réunion ». Il a appris quelles suites de mots sont fréquentes.

Un LLM fait exactement la même chose, mais :

il a lu infiniment plus de textes que votre clavier ;
il tient compte de tout ce qui précède, pas seulement des deux derniers mots ;
il recommence, encore et encore, jusqu'à produire une réponse complète.

flowchart LR
  A["Texte de départ : La capitale de la France est"] --> B["Le modèle calcule des probabilités"]
  B --> C["Paris : très probable"]
  B --> D["Lyon : peu probable"]
  B --> E["banane : quasi nul"]
  C --> F["On ajoute Paris au texte"]
  F --> G["On recommence pour le morceau suivant"]
  G --> B

Une réponse de dix lignes, c'est donc des centaines de petites prédictions enchaînées. Le modèle n'a pas « la réponse en tête » avant de commencer : il la construit morceau par morceau.

Les tokens : les briques de Lego du texte

Le modèle ne lit pas des lettres, ni tout à fait des mots. Il découpe le texte en tokens (en français on dit parfois « jetons »). Un token est un morceau de texte : un mot court entier, un bout de mot long, un signe de ponctuation, un espace.

Texte	Découpage possible en tokens (illustratif)
`chat`	`chat`
`anticonstitutionnellement`	`anti` · `constitution` · `nelle` · `ment`
`Bonjour !`	`Bon` · `jour` · `!`

Pourquoi c'est important pour vous ? Parce que presque tout se compte en tokens :

la quantité de texte qu'un modèle peut lire d'un coup (leçon 3) ;
le prix facturé quand on utilise un modèle via une API (module 2) ;
la vitesse de réponse : plus il y a de tokens à produire, plus c'est long.

Qu'est-ce qu'un token ?

Pourquoi « prédire le mot suivant » donne des réponses intelligentes

C'est la question que tout le monde se pose. Pour bien prédire la suite de « Le contrat est résilié si le locataire… », le modèle a dû, pendant son apprentissage, capter des régularités sur le droit, la grammaire, la logique d'un contrat. Pour prédire la suite d'une recette, il a capté des régularités sur la cuisine.

À force de deviner la suite de milliards de phrases, le modèle a donc emmagasiné une forme de connaissance du monde et du langage. Mais attention : ce n'est pas une base de données. Il ne « consulte » pas un fait ; il produit ce qui lui semble le plus plausible. Et plausible ne veut pas toujours dire vrai. Nous y reviendrons longuement dans le module 2.

Un LLM écrit une réponse de 300 mots. Comment l'a-t-il produite ?

Exercice : observer la prédiction en action

Ouvrez l'assistant auquel vous avez accès (Claude, Gemini…) et envoyez successivement ces trois messages, dans trois conversations séparées :

Complète simplement cette phrase : "Il était une fois"
Complète simplement cette phrase : "Conformément à l'article 4 du présent contrat"
Complète simplement cette phrase : "Salut ! Tu viens ce soir"

Notez pour chacun le style de la suite proposée. Que remarquez-vous ?

Voir la solution

Vous devriez observer que le modèle adapte le registre au début de phrase :

« Il était une fois » → une suite de conte (« … une princesse qui vivait dans un château »).
« Conformément à l'article 4… » → une suite juridique et formelle (« … les parties s'engagent à… »).
« Salut ! Tu viens ce soir » → une suite familière (« … à l'apéro ? »).

C'est la prédiction du mot suivant en action : le début du texte rend certaines suites beaucoup plus probables que d'autres. Leçon pratique : la manière dont vous formulez votre demande oriente fortement le style et le contenu de la réponse. C'est tout l'art du prompt (module 3).

Si vous n'avez pas d'assistant sous la main, faites l'exercice de tête : vous verrez que vous, humain, « prédisez » aussi la suite de manière très différente selon le début.

À retenir

Un LLM est un programme entraîné sur d'énormes quantités de texte ; l'assistant est l'application qui l'utilise.
Il découpe le texte en tokens et produit sa réponse un token à la fois, en choisissant à chaque fois une suite plausible.
Plausible n'est pas vrai : il faut garder un esprit critique.

Je sais faire

Expliquer la différence entre un LLM et un assistant
Définir un token avec mes propres mots
Expliquer pourquoi « prédire le mot suivant » peut produire des réponses utiles
Citer une raison pour laquelle une réponse d'IA peut être fausse