Déployer un service IA sur Kubernetes avec Helm

Ferrand Médical, distributeur de matériel médical (900 salariés), a mis en service un assistant interne pour son support informatique : les salariés posent leur question (« mon VPN ne se connecte pas depuis l'hôtel »), Gemini répond en trois phrases. Le prototype tournait dans un conteneur sur une VM. Il est tombé deux fois en un mois : une fois à cause d'une fuite mémoire jamais redémarrée, une fois parce que le déploiement d'une nouvelle version a coupé le service pendant quatre minutes, un lundi à 9 h. L'équipe plateforme exploite déjà Kubernetes pour d'autres applications et demande que l'assistant y entre avec les mêmes garanties que le reste.

Ce projet construit ce service de bout en bout et le prouve sur un vrai cluster local.

Ce que vous livrez

• Une API d'inférence FastAPI qui appelle Gemini, avec sondes de santé, délestage en surcharge, métriques Prometheus et journaux JSON.
• Une image non-root de 174 Mo, compatible avec un système de fichiers en lecture seule.
• Un chart Helm écrit de zéro : Deployment, Service, Ingress, ConfigMap, HPA, PodDisruptionBudget, NetworkPolicy, ServiceAccount sans jeton. La clé Gemini n'y figure jamais : elle vit dans un Secret créé à part.
• Des tests : 18 tests sans clé (API et rendu du chart avec helm template), un test de bout en bout sur le cluster, un test de charge mesuré.
• Une procédure de mise à jour et de retour arrière validée sous charge : 68 993 requêtes, zéro erreur, à travers une mise à jour, une version cassée et un rollback.

Architecture

flowchart LR
  U["Navigateur / curl"] -->|"http://assistant.127.0.0.1.nip.io:8081"| ING["Ingress NGINX (nœud control-plane)"]
  subgraph KIND["Cluster kind lab-k8s-ia"]
    ING --> SVC["Service inference"]
    SVC --> P1["Pod API (worker)"]
    SVC --> P2["Pod API (worker2)"]
    HPA["HPA 2 → 6 pods"] -.->|"CPU via metrics-server"| P1
    NP["NetworkPolicy"] -.-> P1
    SEC["Secret inference-gemini (créé par kubectl)"] -.-> P1
    CM["ConfigMap (modèle, limites)"] -.-> P2
  end
  P1 -->|"HTTPS 443"| G["API Gemini"]
  P2 -->|"HTTPS 443"| G

Stack

Coût et durée

Durée : 6 heures, dont 15 minutes de construction de cluster et d'images.

Prérequis

• Avoir déjà écrit un Deployment et un Service à la main, et lu des journaux avec kubectl logs.
• Docker avec 4 Go de RAM libres, kind, kubectl, helm 3, Python 3.10+.
• Une clé d'API Gemini (Google AI Studio). Le port 8081 de la machine doit être libre.

Programme

Le dépôt complet est dans files/ : make help liste les commandes.