Тематический план
Тема 1. Классификация изображений. Подход управления данными. K-n алгоритм
Классификатор ближайших соседей. K - классификатор ближайшего соседа. Наборы проверки для настройки гиперпараметра. Применение кНН на практике.Тема 2. Линейная классификация: SVM/Sotfmax
Введение в линейную классификацию. Линейная оценка. Интерпретация линейного классификатора. Функция потери. Мультикласс SVM. Softmax классификатор. SVM против Softmax. Интерактивная веб-демонстрация линейной классификацииТема 3. Оптимизация, высокоуровневое представление, особые точки на изображении
Визуализация функции потерь. Оптимизация. Случайный поиск. Случайный локальный поиск с помощью градиента. Вычисление градиента: численно с конечными отличиями; аналитически с исчислением. Градиентный спуск.Тема 4. Введение в нейронные сети, метод обратного распространения ошибки
Простые выражения, интерпретирующие градиент. Сложные выражения, цепное правило, обратное распространение. Интуитивное понимание обратного распространения. Модульность: пример сигмоида. Обратное распространение на практике: поэтапный расчет. Схожесть с потоком. Градиенты для векторизованных операций.Тема 5. Работа нейронных сетей: процесс кросс-валидации, оптимизации, поиска ошибок
Настройка данных и модели. Предварительная обработка данных. Веса при инициализации. Пакетная нормализация. Регуляризация (L2 / L1 / Maxnorm / Dropout). Градиентные проверки. Проверки вменяемости. Процесс обучения. Функция потери. Точность обучения и валидации. Коэффициенты обновлений весов. Распределение активации / градиента на слой. Визуализация. Обновления параметров. Прямой порядок (SGD), импульс, нестеровский импульс. Анализ скорости обучения. Методы второго порядка. Адаптивные скорости обучения по параметрам (Adagrad, RMSProp). Оптимизация гипер параметра. Определение качества.Тема 6. Сверточные нейронные сети: архитектура, сверточные / объединяющие слои
Обзор архитектуры. Слои сверточной сети. Слой пула. Слой нормализации. Полностью связанный слой. Преобразование полностью связанных слоев в сверточные слои. Архитектуры сверточной сети. Шаблоны слоев. Примеры размеров слоя. Тематические исследования (LeNet / AlexNet / ZFNet / GoogLeNet / VGGNet). Вычислительные соображения.Тема 7. Понимание и визуализация сверточных нейронных сетей
Что заставляет сверточные нейронные сети работать. Обучение через перемещение. Тренировка сверточных нейронных сетей на практике.Тема 8. Классификации изображений: локализация, детектирование, сегментация
Рекурсивные нейронные сети 1: пример названия изображения. Рекурсивные нейронные сети 2: внимательные модели.Обработка текстов
Методы предварительной обработки текста, написанного на естественном языке (удаление нерелевантных слов, лемматизация, стемминг). Классические методы обработки текста, выделение числовых признаков из текста (tf-idf). Получение распределенного представления (embedding) слов по их контексту, технология word2vec. Матричные методы анализа текста. Использование сверточных нейронных сетей для обработки текста.Рекуррентные нейронные сети, их применение для обработки последовательностей: текстов, аудио- и видеофайлов
Рекуррентная архитектура при обработке последовательностей. Генерация последовательностей (текстов, аудио и видео). Технология LSTM.