En 5 semaines, opérez vos applications LLM comme vos autres services.

Compétences

Après 5 semaines, vous saurez

Des compétences pratiquées dans les labs et vérifiées par leurs tests.

• Semaine S1

  Intégrer plusieurs LLM derrière une gateway

  Placer plusieurs fournisseurs derrière un point d'entrée unique, qui résiste aux pannes et tient les budgets.

  • LiteLLM
  • OpenAI
  • Anthropic
• Semaine S2

  Auto-héberger un LLM sur GPU

  Choisir un modèle open-weight, le servir sur GPU dans Kubernetes et le brancher à côté des API.

  • Hugging Face Hub
  • vLLM
  • Kubernetes
• Semaine S3

  Mettre un RAG en production

  Construire un assistant qui s'appuie sur votre documentation, reste à jour et dont la qualité se mesure.

  • pgvector
  • FastAPI
  • Redis
• Semaine S4

  Observer et évaluer un service LLM

  Suivre chaque requête, son coût et sa qualité, et être alerté avant que vos utilisateurs ne le remarquent.

  • OpenTelemetry
  • Langfuse
  • Prometheus et Grafana
• Semaine S4 à S5

  Sécuriser et maîtriser les coûts à la gateway

  Bloquer les injections de prompt, protéger les données personnelles et garder les dépenses sous contrôle.

  • LiteLLM
  • Garde-fous
  • Alertes de budget
• Semaine S5

  Livrer un golden path conforme

  Offrir aux autres équipes un service prêt à déployer et sécurisé, avec les repères de l'AI Act pour l'exploitation.

  • Helm
  • Conformité AI Act

Compétences travaillées pendant la formation. Aucune promesse d'emploi ni de certification reconnue.

Stack IA

La stack IA que vous allez opérer

Des outils réels, utilisés dans les labs et rattachés à la semaine où vous les prenez en main. Pas de démonstration sur diapositive : chaque brique tourne dans votre dépôt.

• Modèles et fournisseurs

  Semaines 1 et 2
  • OpenAIPremier fournisseur derrière la gateway, pour mesurer coût et latence.
  • AnthropicAPI Claude, second fournisseur et cible du fallback ; c'est aussi le modèle du tuteur IA.
  • Hugging Face HubChoix d'un modèle open-weight adapté à votre GPU, à votre usage et à sa licence.
  • vLLMService du modèle sur GPU, avec une API compatible OpenAI branchée à la gateway.

• Gateway LLM

  Semaines 1, 4 et 5
  • LiteLLMPoint d'entrée unique devant tous les modèles : retries, timeouts et fallback automatique.
  • Clés virtuellesUne clé par équipe ou par apprenant, avec un budget plafonné et révocable à tout moment.
  • Alertes de budgetUne alerte quand une clé approche de son budget, avant le refus des requêtes.
  • Garde-fousInjection de prompt bloquée et données personnelles masquées, pour toutes les équipes.

• RAG

  Semaine 3
  • EmbeddingsDécoupage du corpus de runbooks et vectorisation, rejouable sans créer de doublon.
  • pgvectorRecherche vectorielle dans PostgreSQL, comparée aux bases vectorielles dédiées.
  • FastAPIAPI /ask asynchrone qui cite ses sources, avec un score d'évaluation à dépasser.
  • RedisCache des réponses : la deuxième requête identique est servie sans appeler le modèle.

• Plateforme

  Semaine 2
  • KubernetesLe minimum pour un LLM : nœuds GPU, probes, requests, limits et autoscaling.
  • HelmUn chart par service, de la gateway au modèle, validé et testé avant chaque déploiement.
  • kindCluster Kubernetes local dans Codespaces, de l'onboarding au golden path : rien à installer.
  • GPU L4Un vrai GPU, sur un cluster Scaleway Kapsule fourni pour le lab, pour servir votre modèle.

• Observabilité et qualité

  Semaine 4
  • OpenTelemetryUne trace relie gateway, RAG et modèle : le diagnostic d'un incident part de là.
  • LangfuseTraces, prompts et coût par requête et par équipe, pour arbitrer entre qualité et budget.
  • Prometheus et GrafanaLatence, taux d'erreur, débit et coût, avec des objectifs de service et leurs alertes.
  • GitHub ActionsÉvaluations dans la CI, qui échoue quand le score baisse ; en défi, suivi de la dérive.

• Sécurité et conformité

  Semaine 5
  • Injection de promptDes attaques connues rejouées par les tests : la gateway doit les bloquer.
  • Données personnellesMasquées avant l'appel au fournisseur externe : une adresse e-mail de test ne doit pas sortir.
  • NetworkPolicyIsolement réseau entre services et quotas par équipe, intégrés au template golden path.
  • Conformité AI ActRepères pour l'exploitation : traçabilité des requêtes, information des utilisateurs, registre.

Marques citées à titre descriptif ; SB Learning n'est ni partenaire ni affilié à leurs éditeurs.

Tarifs

Tarifs

Prix fixes en francs suisses, jamais convertis au taux du jour : TTC pour les particuliers, HT pour les entreprises. Paiement par carte, Apple Pay ou Google Pay ; TWINT est prévu comme moyen de paiement supplémentaire mais n'est pas encore actif.