Этап 2 — Deep Learning

Цель: понять, как нейросеть устроена изнутри, и научиться обучать их в PyTorch. Срок: 3–4 недели.

Программа

• ☐ Karpathy: Zero to Hero — обязательно, не пропускать:

micrograd (backprop руками) → makemore (bigram→MLP→BN) → Let's build GPT

• ☐ Learn PyTorch 00–04: тензоры, autograd, nn.Module, обучение, GPU
• ☐ fast.ai, уроки 1–4: перенос обучения, data blocks
• ☐ CNN: свёртки, pooling, augmentation; ResNet-механика на пальцах
• ☐ Практика: CIFAR-10 с нуля (CPU) → transfer learning (5070 Ti, когда придёт)

Квиз (проверь себя)

1. Почему в micrograd производная считается от конца к началу? Что сломается в обратном порядке?
2. Что такое learning rate и что будет при 1e-1 и при 1e-8?
3. Зачем batch normalization и почему она «мешает» на инференсе?
4. Transfer learning: что замораживаем и почему это работает?

Мини-проект

Классификатор изображений на своих данных (например, фото брака/упаковки). CPU-вариант до прихода карты: CIFAR-10 + маленькая CNN.

Дальше — Этап 3 · NLP / LLM.