Тематический план

  • Общее

  • Введение

    Предмет дисциплины и ее задачи. Содержание и форма проведения занятий.
  • Проблемы доверия искусственному интеллекту

    Уровни доверия. Компоненты и свойства доверенного ИИ. Аппаратные платформы для доверенного ИИ. Неисправности оборудования. Понятие рисков ИИ. Заинтересованные стороны, их активы и ценности. Ответственность, подотчетность и управляемость ИИ. Безопасность на объектах критической информационной инфраструктуры. Уязвимости ИИ и новые угрозы безопасности. Дрейф модели и предвзятость ИИ. Непредсказуемость ИИ. Непрозрачность ИИ. Проблемы, связанные со спецификацией, внедрением и использованием систем ИИ. Меры по смягчению последствий.Жизненный цикл ИИ. Тестирование ИИ. Развертывание модели. Решения MLOps, ModelOps
  • Управление рисками искусственного интеллекта

    Принципы управления рисками. Обязательства по управлению рисками. Распределение ролей, полномочий и ответственности по управлению рисками. Процесс управления рисками. Критерии рисков ИИ. Оценка рисков ИИ. Идентификация рисков ИИ. Анализ рисков ИИ. Классификация рисков ИИ.
  • Объяснимость моделей искусственного интеллекта и машинного обучения

    Прозрачность и объяснимость ИИ. Цели обеспечения объяснимости ИИ. Объяснимость данных. Оценка вклада признаков в результат анализа. Объяснимость причинно-следственных связей решений ИИ. Определение соответствия моделей или данных этическим нормам. Методы и подходы к реализации объяснимого ИИ и метрики объяснимости (деревья решений, GA2M, TCAV, LIME, SHAPи другое). Объяснимость данных. Объяснимость на разных этапах жизненного цикла ИИ. Программные продукты для создания объяснимого ИИ или повышения объяснимости ИИ.
  • Робастность искусственного интеллекта и нейронных сетей

    Концепция робастности. Типичный алгоритм для оценки робастности. Метрики робастности. Методы оценки робастности (статистические, формальные, эмпирические). Оценка робастности искусственных нейронных сетей. Устойчивость обучения. Повышение устойчивости обучения.
  • Функциональная безопасность искусственного интеллекта

    Понятие функциональной безопасности ИИ. Управление безопасностью ИИ. Свойства и связанные с ними факторы риска безопасности технологий ИИ. Трёхкомпонентная структура системы ИИ. Технологические элементы для создания и исполнения модели ИИ. Уровень автоматизации и контроля ИИ. Дрейф данных. Дрейф концепции. Безопасность ИИ. Проблемы с системным оборудованием. Меры контроля и смягчения последствий.
  • Компьютерные атаки на искусственный интеллект

    Классификация компьютерных атак на ИИ. Извлечение данных (входных, выходных). Извлечение параметров модели для понимания алгоритма ее работы. Извлечение и интерпретация знаний ИИ. Манипуляции с моделями. Манипуляции входными и обучающими данными. Состязательные атаки. Зондирование моделей.Отказ в обслуживании ИИ. Методы противодействия атакам на ИИ. Программные продукты для детектирования и отражения атак на ИИ.
  • Защита данных

    Защита данных на этапе хранения, обучения и исполнения. Отравление данных. Дифференциальная конфиденциальность. Гомоморфное шифрование. Классическое шифрование. Федеративное обучение. Генерация синтетических наборов данных. Метрики приватности. Программные продукты для защиты конфиденциальности и целостности данных ИИ.
  • Обнаружение аномалий

    Определение дрейфа данных и других проблем. Утечка данных. Обнаружение заражения данных. Соблюдение нормативных требований к потреблению данных модели. Программные продукты для обнаружения аномалий в данных.
  • Заключение

    Итоги курса. Перспективы развития отрасли доверенного ИИ.