主题目录
Искусственный интеллект и машинное обучение
Искусственный интеллект. Машинное обучение. Общая постановка задачи обучения по прецедентам. Типология обучения задач по прецедентам. Бустинг. Бэггинг. Области применения ИИ.Сбор, хранение и подготовка данных. Дополнение данных, заполнение (удаление) пропущенных значений
Как подготовить данные к моделированию: 5 операций Data Preparation. Почему нужно готовить данные к моделированию. Как Data Scientist готовит данные: методы и средства Data Preparation. Отберем то, что нужно Data Mining: как сформировать датасет для машинного обучения. Что такое датасет для Data Mining и из чего он состоит. Где искать датасеты. Каким бывает dataset: типы выборок. Как сформировать выборку для Data Mining. Зачем нужна очистка данных для Data Mining: 10 главных проблем подготовки датасета и способы их решения. Что такое очистка данных для Data Mining. От чего надо чистить большие данные. Как Data Scientist чистит данные: детали фазы Data Preparation Это не баг, а фича: генерация признаков для Data Mining. Признаки для Data Mining: определение и виды. Как проходит генерация признаков: 3 задачи этого этапа Data Mining и способы их решения.Data Preparation: полет нормальный – что такое нормализация данных и зачем она нужна.Подготовка данных. Выявление аномалий в сырых данных, очистка данных от шума
Сырые данные. Выбросы. Причины выбросов. Определение выбросов. Критериии выбросов I. Гистограмма. Ящик с усами. Критерий Шовене. Критерий Граббса. Критерий Пирса. Критерий Диксона. Правило 3 сигм. Критерии выбросов II. Статистические тесты. Модельные тесты. Итерационные методы. Метрические методы. Методы подмены задачи. Методы машинного обучения. Ансамбли алгоритмов. ROCанализ. Алгоритмы очистки сигналов от шума. Преобразование Фурье. Вейвлетпреобразование. Фильтр Винера. Алгоритмы Empirical Mode Decomposition и Intrinsic TimeScale Decomposition. Алгоритмы очистки изображений от шума. Типовые шумы. Виды шумов: аналоговый, цифровой. Методы шумоподавления: пространственные, временные, пространственновременные. Качество шумоподавления. Метрики качества: PSNR и SSIM. Усредняющий фильтр. Медианный фильтр. Гауссовский фильтр. Билатеральный фильтр. Алгоритм NLMКлассификация
Задача классификации. Типы входных данных. Типы классов. Области применения. Формальная постановка задачи. Алгоритмы классификации. Метод ближайших соседей. Байесовский классификатор. Деревья решений.Кластеризация
Задача кластеризации. Типы входных данных. Цели кластеризации. Функции расстояния. Формальная постановка задачи. Алгоритмы кластеризации. Метод kсредних. Метод cсредних. Генетический алгоритм.Поиск ассоциативных правил
Задача поиска ассоциативных правил. Формальная постановка задачи. Концепции. Процесс построения ассоциативных правил. Алгоритмы поиска ассоциативных правил.Аппроксимация, интерполяция и экстраполяция. Временные ряды: тренд, сезонность, шум. Прогнозирование
Аппроксимация. Постановка задачи. Метод наименьших квадратов. Линейная аппроксимация. Логарифмическая аппроксимация. Экспоненциальная аппроксимация. Степенная аппроксимация. Интерполяция. Постановка задачи. Локальная и глобальная интерполяция. Интерполяционный многочлен Лагранжа. Интерполяционный многочлен Ньютона. Экстраполяция. Временные ряды. Компоненты временных рядов. Объединение компонентов временного ряда. Оценка тренда. Виды функциональных зависимостей. Выделение тренда. Метод скользящего среднего. Метод экспоненциального сглаживания. Прогнозирование. Двойное экспоненциальное сглаживание. Метод ХольтВинтерса. Качество прогнозирования.Корреляционный анализ
Аппроксимация. Постановка задачи. Метод наименьших квадратов. Линейная аппроксимация. Логарифмическая аппроксимация. Экспоненциальная аппроксимация. Степенная аппроксимация. Интерполяция. Постановка задачи. Локальная и глобальная интерполяция. Интерполяционный многочлен Лагранжа. Интерполяционный многочлен Ньютона. Экстраполяция. Временные ряды. Компоненты временных рядов. Объединение компонентов временного ряда. Оценка тренда. Виды функциональных зависимостей. Выделение тренда. Метод скользящего среднего. Метод экспоненциального сглаживания. Прогнозирование. Двойное экспоненциальное сглаживание. Метод ХольтВинтерса. Качество прогнозирования.Нейронные сети
Что такое нейронная сеть (НС)? Хронология. Классификация НС. Этапы решения задачи. Области применения НС. Структура нейрона. Синапс. Принципы работы НС. Функция активации. Обучение, валидация, тестирование. Итерация. Эпоха. Ошибка. Нейрон смещения. Обучение НС. Градиентный спуск. Метод обратного распространения (МОР). Гиперпараметры. Cходимость. Переобучение.Сверточные нейронные сети
Сверточные нейронные сети (СНС). Архитектура СНС. Слой свертки. Слой активации. Пулинг или субдискретизирующий слой. Полносвязная НС. Обучение СНС. Преимущества СНС. Недостатки СНС.Использование современной вычислительной базы в контексте решения задач Data Science (CUDA, GPU, FPGA, SoC). Современные программно-аппаратные средства (MATLAB, Python, R, GPU)
Цифровые процессоры обработки сигналов (ЦПОС). Графические процессоры (GPU). Программируемые логические интегральные схемы (ПЛИС). Технология CUDA.Системы на кристалле (SoC). Языки математических и научных расчетов: MATLAB, Python, R.