Architecture Transformer

1

Leçon 1: De l'attention aux Transformers : pourquoi cette révolution ?

1 heure et 30 minutes

2

Leçon 2: L'attention : intuition et mécanique

2 heures

3

Leçon 3: Self-attention en profondeur

2 heures

4

Leçon 4: Multi-head attention

2 heures

5

Leçon 5: Positional encoding

1 heure et 30 minutes

6

Leçon 6: Le bloc encodeur complet

2 heures

7

Leçon 7: Le bloc décodeur et le masking causal

2 heures

8

Leçon 8: Layer norm, résidus et feed-forward

1 heure et 30 minutes

9

Leçon 9: TP — implémenter self-attention from scratch

2 heures et 30 minutes

10

Leçon 10: TP — mini-Transformer pour classification

2 heures et 30 minutes

11

Leçon 11: Lecture commentée du papier "Attention Is All You Need"

2 heures et 30 minutes