ЮФУ — 2026.11.09 — Алгоритмы стохастического градиентного спуска

301 подписчик

12+
12+

26 минут назад

ПожаловатьсяНарушение авторских прав

301 подписчик

12+
12+

26 минут назад

ПожаловатьсяНарушение авторских прав
12+
12+

26 минут назад

Это лекция курса «Технологии и фронтиры науки о данных», прочитанного в Южном федеральном университете осенью 2026 года. Все материалы, включая слайды, доску, ноутбук и видео, можно найти на странице курса: https://www.sergeynikolenko.ru/courses/sfedu-data-frontiers-2026 Подписывайтесь на мой телеграм-канал "Sineкура": Разделы: 0:00 От графа вычислений к оптимизации 2:50 Напоминание: градиентный спуск 5:11 Прямой и обратный проходы 6:27 Данные и веса как входы графа 8:10 Вопрос: нейросетевые выжимки лекций 8:58 Функция ошибки — сумма по датасету 10:26 Стохастическая оценка градиента 12:10 Вопрос: полный и стохастический градиенты 13:53 Почему SGD не останавливается в минимуме 15:27 Затухание скорости обучения 17:31 Контрпример: вытянутая квадратичная чаша 20:27 Разный масштаб координат 24:01 Почему увеличение шага не помогает 26:04 Расходимость при слишком большом шаге 28:18 Та же проблема в весах нейросети 29:57 Метод моментов: интуиция движения по склону 31:58 Инерция и предыдущий шаг обновления 33:56 Формула momentum 36:50 Зачем момент помогает в узкой долине 37:52 Вопрос: это для оптимизации обучения? 38:59 Ускоренный метод Нестерова 40:16 Градиент в точке после движения по инерции 41:31 Заглядывать вперёд, как гонщик 43:44 Сравнение GD, momentum и Nesterov 45:47 Ещё одна тестовая функция 47:00 Overshoot и возвращение в долину 49:28 Как сгладить шумный градиент 51:38 Экспоненциальная скользящая средняя 52:53 Почему скользящее окно дорого для нейросети 56:58 Обновление EMA одним накопленным значением 58:40 Разворачиваем рекуррентную формулу 1:00:59 Почему старые значения затухают экспоненциально 1:01:43 Длина памяти и коэффициент сглаживания 1:03:35 Сглаживание замедляет реакцию на изменения 1:04:27 Иллюстрация шага Нестерова 1:05:43 Скорость обучения для разных методов 1:07:28 Адаптивные алгоритмы SGD 1:08:44 Отдельная скорость для каждой координаты 1:10:34 AdaGrad 1:12:32 Накопление квадратов градиента 1:13:26 Почему AdaGrad меняет шаг по координатам 1:17:03 Почему AdaGrad не может разогнаться обратно 1:18:13 RMSProp: забывать давние градиенты 1:19:23 EMA квадратов градиента 1:20:51 Adam 1:22:23 Сглаживаем и градиент, и его масштаб 1:23:59 AdamW, Muon и Lion 1:25:29 Сравниваем адаптивные оптимизаторы 1:28:06 Гиперпараметры и начальный шаг 1:29:34 Траектории разных алгоритмов 1:32:43 Обучаем знакомую ReLU-сеть разными методами 1:33:49 Итоги и следующие темы 1:35:48 Завершение

Название:

ЮФУ — 2026.11.09 — Алгоритмы стохастического градиентного спуска

Категория:

Разное