ИТМО — 2026.11.16 — Сегментация, VAE
Это лекция курса «Глубокое обучение», прочитанного в Университете ИТМО осенью 2026 года. Все материалы, включая слайды, доску и видео, можно найти на странице курса: https://www.sergeynikolenko.ru/courses/dlitmo-fall26 Подписывайтесь на мой телеграм-канал "Sineкура": Разделы: 0:00 Введение: задачи компьютерного зрения 2:36 Сегментация как попиксельная классификация 4:16 Маленькие объекты и функция ошибки 5:41 История сегментации и летний проект Минского 7:59 FCN: полностью свёрточная сеть для сегментации 10:13 Convolutionalization: классификатор как свёртка 12:48 Skip connections и восстановление точной геометрии 15:37 Semantic и instance segmentation: разные постановки 17:21 От FCN к новым архитектурам сегментации 18:51 DeconvNet и unpooling: сохраняем позиции максимумов 20:53 U-Net: кодировщик, декодировщик и копирование признаков 24:12 Маленькие датасеты и тайлы медицинских изображений 26:19 Взвешенная ошибка: как разделять соседние здания 30:33 Аугментации изображений и масок 33:44 Переходим к instance segmentation 34:10 Mask R-CNN: добавляем маску к детектору 35:47 Зачем instance segmentation нужен bounding box 38:13 RoI Align и точная локализация признаков 42:52 Результаты Mask R-CNN и разделение экземпляров 45:20 Дополнительная голова для оценки позы 47:43 DeepLab: геометрия и глобальный контекст 49:08 Atrous / dilated convolutions: большое рецептивное поле 50:37 CRF и постобработка карт сегментации 52:26 Деформируемые свёртки и обучаемые сдвиги 54:26 Другие задачи: сегментация в 3D и на видео 56:10 Как трансформеры изменили сегментацию 56:45 Медицинские изображения и маленькие датасеты 1:00:03 U-Net с трансформерами в разных частях 1:02:09 DETR и Swin внутри U-подобных архитектур 1:05:42 Гиперспектральная съёмка: входы за пределами RGB 1:08:13 Почему свёртки остаются конкурентоспособными 1:09:55 Вопросы и перерыв между двумя частями 1:12:42 От дискриминирующих моделей к generative AI 1:16:37 Обычный автокодировщик и ошибка реконструкции 1:19:55 Почему случайный латентный код не даёт хорошую картинку 1:21:58 Идея VAE: распределение вместо одной точки 1:26:20 Почему распределения сами не покрывают латентное пространство 1:29:16 Регуляризатор, reconstruction loss и проблема сэмплирования 1:31:40 Вероятностный взгляд: совместное распределение p(x,z) 1:33:23 Декодер как p(x|z) и prior p(z) 1:34:38 Почему точный posterior нельзя считать простым гауссианом 1:37:22 Приближаем p(z|x) диагональным гауссианом q 1:38:31 Вывод вариационного приближения из первых принципов 1:40:25 Трюк с прибавлением и вычитанием энтропии 1:41:51 Выделяем дивергенцию Кульбака — Лейблера 1:43:08 ELBO: почему минимизация KL равносильна максимизации нижней оценки 1:46:12 Почему ELBO проще оптимизировать, чем точный posterior 1:47:41 Разложение ELBO: ожидаемое правдоподобие минус KL к prior 1:49:22 Гауссовский декодер даёт ошибку реконструкции 1:51:50 От вероятностных предположений к конкретным loss-функциям 1:53:20 Итоговая конструкция VAE и аналитический KL-регуляризатор 1:54:32 Репараметризация: как провести градиенты через сэмплирование 1:56:49 Обучение мини-батча и планы на продолжение 1:57:54 Вопросы и завершение
Название:
ИТМО — 2026.11.16 — Сегментация, VAE
Категория:
Разное