Génération de texte avancée (LLMs)

1

Leçon 1: Scaling laws : pourquoi les LLMs marchent

1 heure et 30 minutes

2

Leçon 2: Tokenization approfondie : BPE et SentencePiece

2 heures

3

Leçon 3: Supervised Fine-Tuning : créer un assistant

2 heures et 30 minutes

4

Leçon 4: RLHF : l'alignement par récompense humaine

2 heures et 30 minutes

5

Leçon 5: DPO : l'alternative simple au RLHF

2 heures

6

Leçon 6: Constitutional AI et RLAIF

1 heure et 30 minutes

7

Leçon 7: QLoRA : fine-tuner un 7B sur Colab

2 heures et 30 minutes

8

Leçon 8: Évaluation d'un LLM : benchmarks et eval humaine

2 heures

9

Leçon 9: Hallucinations : pourquoi et comment limiter

1 heure et 30 minutes

10

Leçon 10: TP : fine-tuning Llama-3 8B avec QLoRA

3 heures

11

Leçon 11: TP : DPO sur dataset de preferences

3 heures

12

Leçon 12: TP : creer un assistant thematique specialise

2 heures et 30 minutes

13

Leçon 13: Synthese generation de texte

1 heure et 30 minutes