Embeddings et recherche sémantique

Une recherche par mots-clés trouve « tente » quand on tape « tente ». Elle ne trouve rien quand un client tape « dormir dehors à trois » ou « tent for three people ». Une recherche sémantique compare le sens des textes : chaque texte devient un vecteur de nombres, un embedding, et deux textes proches par le sens ont des vecteurs proches.

Fil rouge : un catalogue de 60 fiches produit fictives (chaussures, cuisine, bureau, audio, camping…), dont 3 quasi-doublons glissés volontairement. On y construit un moteur de recherche, une recommandation « produits similaires », un détecteur de doublons, un regroupement automatique, et on mesure la qualité avec un jeu de 31 requêtes en 4 langues.

Pour qui ?

• Développeurs ou analystes Python à l'aise avec les listes, les dictionnaires et JSON.
• Aucune connaissance préalable des embeddings ni de l'algèbre linéaire : on explique le produit scalaire au moment où on s'en sert.
• Une clé Gemini suffit. BigQuery et Vertex AI sont présentés en option.

Ce que vous construisez

flowchart LR
  P["produits.json (60 fiches)"] --> T["Texte formaté : title: ... | text: ..."]
  T --> E["gemini-embedding-2 (768 dims)"]
  E --> N[("vecteurs.npy")]
  P --> S[("produits.sqlite")]
  Q["Requête (fr, en, es, de)"] --> QE["task: search result | query: ..."]
  QE --> E2["gemini-embedding-2"]
  E2 --> C["Cosinus = produit scalaire (numpy)"]
  N --> C
  C --> R["Top 5 + fiches depuis sqlite"]
  R --> EV["evaluer.py : rappel@5"]

Objectifs mesurables

1. Expliquer ce qu'est un embedding et calculer une similarité cosinus avec numpy.
2. Utiliser gemini-embedding-2 correctement : préfixes de tâche, output_dimensionality, une Content par texte.
3. Construire un index local persistant (.npy + sqlite) qui ne recalcule que les fiches modifiées.
4. Exploiter les vecteurs : recherche multilingue, produits similaires, doublons, clustering.
5. Mesurer la qualité avec le rappel@k et comparer à une recherche par mots-clés (BM25).
6. Décider quand passer à BigQuery VECTOR_SEARCH ou à Vertex AI Vector Search.

Prérequis techniques

• Python 3.10 ou plus récent, pip install -r files/requirements.txt.
• Une clé d'API Gemini (Google AI Studio) dans GOOGLE_API_KEY, ou un projet Google Cloud.

Programme

Le code du lab

Tout est dans le dossier files/ : generer_produits.py et produits.json (les 60 fiches), moteur.py (index, recherche, similaires, doublons, clusters), requetes_eval.json et evaluer.py (rappel@5), test_moteur.py (8 tests sans clé), bigquery_vector_search.py (option Google Cloud).

En local ou sur Google Cloud ?