Entraînement à grande échelle

1

Leçon 1: Préparation de datasets massifs : curation et qualité

2 heures et 30 minutes

2

Leçon 2: Distributed training : DP et DDP

2 heures

3

Leçon 3: FSDP et DeepSpeed ZeRO

2 heures et 30 minutes

4

Leçon 4: Gradient checkpointing

1 heure et 30 minutes

5

Leçon 5: Quantization : GGUF, AWQ, GPTQ

2 heures et 30 minutes

6

Leçon 6: bitsandbytes : 8-bit et 4-bit quantization

1 heure et 30 minutes

7

Leçon 7: Inférence optimisée : vLLM

2 heures

8

Leçon 8: Inférence locale : llama.cpp et Ollama

1 heure et 30 minutes

9

Leçon 9: Benchmark latence et throughput

1 heure et 30 minutes

10

Leçon 10: TP : DDP multi-GPU sur Colab/Kaggle

3 heures

11

Leçon 11: TP : quantization 4-bit d'un LLM

2 heures et 30 minutes

12

Leçon 12: TP : serving vLLM + benchmark

3 heures

13

Leçon 13: Projet majeur : fine-tuner et déployer Mistral-7B spécialisé

1 heure