Raisonnement et multimodalité

Les points forts : tout ce qui est « langage »

Les LLM excellent dans les tâches où il faut comprendre et transformer du texte :

• Résumer un long document, un fil d'e-mails, un compte rendu.
• Reformuler : simplifier, changer de ton, adapter à un public.
• Rédiger un premier jet : e-mail, note, offre d'emploi, FAQ, post.
• Traduire entre de nombreuses langues.
• Extraire et structurer : transformer un texte libre en tableau (noms, dates, montants).
• Classer : trier des retours clients par thème, par sentiment.
• Expliquer un concept, un document technique, un message d'erreur.
• Trouver des idées : brainstorming, plans, angles d'approche.

Les points faibles classiques

Les modèles « de raisonnement »

Depuis quelques années, les éditeurs proposent des modèles ou des modes dits de raisonnement (on parle aussi de « réflexion étendue »). Le principe : avant de répondre, le modèle produit une sorte de brouillon où il décompose le problème étape par étape, vérifie, revient en arrière. Puis il donne sa réponse finale.

flowchart LR
  Q["Question complexe"] --> R1["Brouillon : découper le problème"]
  R1 --> R2["Brouillon : traiter chaque étape"]
  R2 --> R3["Brouillon : vérifier la cohérence"]
  R3 --> A["Réponse finale"]
  Q -.->|"mode rapide"| A

• Avantages : meilleurs résultats sur les problèmes à plusieurs étapes (logique, planification, analyse, code, mathématiques).
• Inconvénients : plus lent et plus coûteux (le brouillon consomme des tokens), et inutile pour une question simple.
• Limite : le raisonnement améliore la fiabilité, mais ne la garantit pas. Un raisonnement bien présenté peut contenir une erreur.

Vous pouvez obtenir un effet similaire, en plus léger, avec n'importe quel modèle en écrivant : « Réfléchis étape par étape avant de répondre. »

La multimodalité : au-delà du texte

Un modèle multimodal peut recevoir (et parfois produire) plusieurs types de contenus, appelés modalités :

flowchart LR
  T["Texte"] --> M["Modèle multimodal"]
  I["Images, photos, captures d'écran"] --> M
  P["PDF avec tableaux et graphiques"] --> M
  A["Audio"] --> M
  V["Vidéo"] --> M
  M --> S["Texte en sortie"]
  M -.-> G["Images ou audio en sortie, selon les modèles"]

Cas concrets pour une équipe métier :

• prendre en photo un tableau blanc de réunion et obtenir un compte rendu structuré ;
• envoyer une capture d'écran d'un message d'erreur pour qu'on vous l'explique ;
• analyser un PDF avec des tableaux et des graphiques ;
• transcrire puis résumer un enregistrement audio (avec l'accord des participants) ;
• générer une image d'illustration pour une présentation (selon l'assistant).

Les capacités exactes varient d'un modèle et d'une offre à l'autre : vérifiez ce que propose le vôtre.

Exercice : bon ou mauvais usage ?

Classez chaque tâche en adaptée (l'IA peut la faire, avec relecture), à outiller (elle a besoin d'une source ou d'un outil) ou inadaptée (l'humain doit décider).

1. Rédiger le premier jet d'une offre d'emploi à partir d'une fiche de poste.
2. Calculer les primes annuelles de 80 salariés à partir d'un barème.
3. Décider seule quel candidat recruter.
4. Résumer les 40 retours d'une enquête interne par grands thèmes.
5. Donner le cours de bourse actuel d'une entreprise.

Je sais faire

• Citer 4 tâches où les LLM sont performants
• Citer 3 faiblesses et leur parade
• Expliquer ce qu'apporte un mode « raisonnement » et ce qu'il coûte
• Donner deux exemples d'usage multimodal dans mon métier