Статистическая регуляризация и перспективные методы машинного обучения

Цель курса дать слушателем представление о современном состоянии теории машинного обучения, а также об эффективных на практике методах и подходах. Особый акцент будет сделан на регуляризующие свойствах алгоритмов, как ключевых факторов эффективного применения методов машинного обучения. В курсе будет проводится связь с классической теорией регуляризации и будут намечены пути для расширения взаимодействия классической теории и машинного обучения.

В курсе:

 - слушатели получат представление о современных эффективных методах машинного обучения с подробным теоретическим обоснованием;

 - будет проведена связь методов машинного обучения с классическими математическими областями, а также разобраны перспективные направления теоретических и практических математических методов

 - применение разобранных методов будет проиллюстрировано на приложениях, имеющих большой практический интерес.

Подготовительная часть

1. Вводная лекция, важность регуляризации в AI, перспективные направления развития AI
2. Основы классической регуляризации Тихонова и связь ее с различными статистическими подходами
3. Оценка ошибок различных регуляризирующих алгоритмов, понятие вертикального разрешения и средних ядер.
4. Ансамбли моделей, разложение ошибки на смещение и разброс  для суперпозиции алгоритмов и для отдельного обратного оператора.

Базовая теория

1. Метод релевантных векторов (RVM)
2. От EM алгоритма к двойному стохастическому вариационному выводу
3. Вариационные вывод и вариационные автокодировщики (VAE)
4. Скрытые переменные и manifold learning

Перспективные методы машинного обучения

1. Гауссовские процессы
2. Диффузионные модели
3. Основы топологического анализа данных (TDA)
4. Оптимальный транспорт в приложении к статистике и анализу данных

Различные приложения и расширение кругозора

1. Аддитивная регуляризация и задачи тематического моделирования
2. Использование нейросети в качестве сглаживающего регуляризатора при обработке данных лазерного радарного зондирования
3. Анализа данных и задачи георазведки
4. От рекуррентных нейросетей к языковым моделям (на примере ChatGPT)

Занятия проводятся на физическом факультете МГУ им. М. В. Ломоносова

В программе курса 18 занятий: 12 лекций и 6 семинаров

Старт курса: 10 февраля 2023 года

Занятия будут проходить:

по пятницам 9:00 - 10:35, ауд. 4-46;

(вторая пара на четной неделе) 10:50 - 12:25, ауд. 5 -48

Форма записи на курс

Набор на курс 2023 года закрыт