La voix : transcription, synthèse vocale et conversation en temps réel

La voix est l'interface la plus naturelle qui soit, et la plus exigeante : un appel client ne se relit pas, une réponse vocale qui arrive avec trois secondes de retard paraît cassée, un numéro de commande mal entendu déclenche la mauvaise action. Cette formation vous apprend les trois briques de la voix avec l'API Gemini (comprendre, parler, converser en temps réel) et la façon de les assembler sans vous faire piéger.

Fil rouge : le service client d'une boutique fictive, « Atelier ». Vous fabriquez un faux appel avec deux voix de synthèse, vous le transcrivez en séparant l'agent du client, vous en tirez un compte rendu structuré, puis vous produisez le message vocal de rappel. Enfin, vous parlez à un agent vocal en temps réel et vous mesurez sa latence.

Pour qui ?

• Développeurs Python à l'aise avec les fonctions, JSON et pip, qui ont déjà appelé un LLM par API.
• Équipes support, accessibilité ou outils internes qui veulent savoir ce que la voix change vraiment (et ce qu'elle coûte).
• Aucune connaissance en traitement du signal n'est nécessaire : tout est expliqué depuis zéro.

Ce que vous allez construire

flowchart LR
  S["Script d'appel (JSON)"] --> T1["TTS 2 voix : gemini-3.8-flash-tts"]
  T1 --> A["appel.wav"]
  A --> STT["Transcription + diarisation : gemini-3.5-transcribe"]
  STT --> TR["Tours de parole spk:0 / spk:1"]
  TR --> LLM["Compte rendu JSON : gemini-3.5-flash"]
  LLM --> G{"Commande connue du SI ?"}
  G -->|"oui"| T2["TTS : message de rappel"]
  G -->|"non"| H["À confirmer par un conseiller"]
  T2 --> R["reponse.wav"]
  Q["question.wav"] --> LIVE["Live API WebSocket : gemini-3.8-live"]
  LIVE --> LR["Réponse vocale + latence mesurée"]

Tout le code est dans le dossier files : voix.py (les briques), compte_rendu.py (le pipeline), live_demo.py (le temps réel), test_voix.py (les tests sans clé), plus les fichiers audio réellement produits le 2026-10-15.

Prérequis techniques

• Python 3.10 ou plus récent.
• Une clé d'API Gemini (Google AI Studio), exportée dans GOOGLE_API_KEY ou copiée dans un fichier .env à partir de .env.example.
• pip install -r requirements.txt (requirements.txt) : google-genai, pydantic, python-dotenv, numpy, pytest.
• Un casque ou des haut-parleurs pour écouter les fichiers produits. Pas besoin de micro : la « question » du client est elle-même synthétisée.

Programme

Chaque leçon contient un schéma, des quiz corrigés, un exercice avec solution, une checklist « Je sais faire » et la vraie sortie de nos tests.

En local ou sur Google Cloud ?

Ce que vous saurez faire

• Choisir entre transcription dédiée, modèle généraliste et Live API selon le besoin.
• Produire une voix (ou un dialogue) avec le bon ton, au bon format, en vérifiant sa durée.
• Mesurer la qualité d'une transcription (WER) et la latence d'un agent vocal.
• Mettre les garde-fous propres à la voix : chiffres confirmés, pas d'invention, consentement, passage à un humain.