Тематический план
Введение
История возникновения и основные этапы развития искусственных нейронных сетей. Обзор прикладных задач, решаемых глубоким обучением. Напоминание основных элементов модели перцептрона и искусственных нейронных сетей прямого распространения. Вероятностный подход к машинному обучению.Обучение искусственных нейронных сетей
Проблема XOR. Граф вычислений и дифференцирование на графе вычислений. Полносвязные нейронные сети. Функции активации и их варианты. Метод обратного распространения ошибки. Стохастический градиентный спуск. Слои и векторизация.Регуляризация в глубоком обучении
Регуляризация в глубоком обучении. L1 и L2- регуляризация весов. Аугментация выборки. Ансамбли моделей. Dropout.Численная оптимизация в глубоком обучении
Численная оптимизация в глубоком обучении. Метод моментов, метод Нестерова. Адаптивные модификации стохастического градиентного спуска. Нормализация по мини-батчам. Инициализация весов.Сверточные нейронные сети
Биологическая модель зрения. Операция свертки и взятия максимума. Сверточный нейрон. Сверточные нейронные сети. Современные сверточные архитектуры. Автокодировщики. Примеры приложений в задачах компьютерного зрения.Рекуррентные нейронные сети
Задачи обработки последовательностей. Рекуррентные нейронные сети (RNN). Обучение рекуррентных сетей и обратное распространение ошибки сквозь время (BPTT). Слои с памятью. Сети долгой кратковременной памяти (LSTM). Архетиктура Gated Recurrent Unit (GRU).Генеративные сети
Вероятностная постановка генеративной задачи. Генеративные сети. Генеративно-состязательные искусственные нейронные сети (GAN). Автокодировщики. Вариационные автокодировщики (VAE).Машинный перевод и генерация текстов
Задачи автоматической обработки текстов. Векторные представления слов (Word Embeddings). Сверточные сети для текстов. Модели seq2seq. Рекуррентные сети с механизмом внимания (Attention).