This repository contains notebooks for the Fundamentals of Deep Learning course.
Tip #1:
Loading the entire repository can take a considerable amount of time. A single folder can be downloaded via DownGit.
Tip #2:
Sometimes GitHub failes to render a notebook. In that case use nbviewer — it works like a charm!
Tip #3:
In those cases when nbviewer fails to find a notebook whereas GitHub finds it just fine, try to add ?flush_cache=false at the end of the nbviewer link.
Legend: 
— slides, 
— code, 
— video.
| Week | What | Where | When |
|---|---|---|---|
| 1 | Введение в глубокое обучение: нейрон, перекрёстная энтропия, градиентный спуск, Numpy, логистическая регрессия. |    |
20.01.2021 |
| 2 | Полносвязные сети, метод обратного распространения ошибки, стохастический градиентный спуск, производные по матрицам. | |
27.01.2021 |
| 3 | Особенности и методы оптимизации в глубоком обучении, методы регуляризации, transfer learning. Основы PyTorch. | |
03.02.2021 |
| 4 | Свёртки и свёрточные нейронные сети. CNN в PyTorch. | |
10.02.2021 |
| 5 | Процесс разработки в ML, разбиение данных, компромисс отклонение-дисперсия, метрики, ускорение моделей, квантование сетей, QAT. PyTorch Lightning, Optuna. | |
17.02.2021 |
| 6 | Языковые модели, рекуррентные архитектуры, работа с памятью. Применение RNN для генерации имён. | |
25.02.2021 |
| 7 | Повторение основных методов и подходов в глубоком обучении, а также основ PyTorch. | |
03.03.2021 |
Additional materials on the topic of recurrent neural networks:
- What Every Computer Scientist Should Know About Floating-Point Arithmetic
- Understanding LSTMs (by Christopher Olah)
- The Unreasonable Effectiveness of Recurrent Neural Networks (by Andrej Karpathy)