Тематический план
Поиск точки минимума функции с помощью градиентного спуска
Нахождение точки минимума функции одной переменной с помощью производной (“школьный метод”). Процедура градиентного спуска для функции одной переменной. Частные производные. Процедура градиентного спуска для функции многих переменных (ФМП). Улучшения градиентного спуска для ФМП (метод Momentum, Adagrad, Adam...).Графы вычислений и алгоритм обратного распространения ошибки
Формулы дифференцирования сложной функции (случай функции одной переменной и ФМП) Определение графа вычисления функции. Дифференцирование по графу вычислений. Алгоритм обратного распространения ошибки.Тренировка нейросети для задачи регрессии
Понятие об искусственном нейроне. Постановка задачи регрессии. Архитектура нейросети для задачи регрессии. Тренировочная выборка. Функция потерь для задачи регрессии. Улучшения градиентного спуска в задаче регрессии (стохастический градиентный спуск, спуск по мини-батчам).Технологии тренировки глубоких нейронных сетей (дропаут, регуляризация, нормализация)
Алгоритмы инициализации весов (инициализация Ксавье), регуляризации (L1- и L2-регуляризации), нормализации данных и нормализации данных во внутренних слоях сети по мини-батчам.Задача классификации для нейронных сетей
Постановка задачи классификации. Архитектура нейросети для задачи классификации. Функция потерь для задачи классификации.Контроль качества натренированных нейронных сетей
Валидационная и тестовые выборки. Метрики качества в задаче регрессии и классификации.Распознавание изображений, свёрточные нейронные сети и фильтры. Задача сегментации изображений. Сеть U-net
Неудовлетворительная точность распознавания изображений полносвязной архитектурой. Сверточная архитектура, фильтры, свёртки, пулинг. Большие сверточные нейросети: LeNet, VGG, ResNet. Transfer learning, методы атаки на сверточные нейросети. Постановка задачи сегментации. Сведение сегментации к задачи распознавания изображений как наиболее просто способ сегментации изображений. Специальная архитектура сегментирующих нейросетей. сеть U-net.Автокодировщики
Архитектура автокодировщиков. Применение автокодировщиков в задачах архивации данных, борьбы с помехами, получения распределенного представления (embedding).Метрические задачи машинного обучения (metric learning)
Постановка задач в области metric learning. Функция потерь triplet-loss в задачах нахождения сходства и различия картинок.Понятие о состязательных сетях (GAN)
Общая архитектура сети GAN. Этапы тренировки GAN. Задачи, решаемые с помощью GAN.Обработка текстов
Методы предварительной обработки текста, написанного на естественном языке (удаление нерелевантных слов, лемматизация, стемминг). Классические методы обработки текста, выделение числовых признаков из текста (tf-idf). Получение распределенного представления (embedding) слов по их контексту, технология word2vec. Матричные методы анализа текста. Использование сверточных нейронных сетей для обработки текста.Рекуррентные нейронные сети, их применение для обработки последовательностей: текстов, аудио- и видеофайлов
Рекуррентная архитектура при обработке последовательностей. Генерация последовательностей (текстов, аудио и видео). Технология LSTM.