---

Факультативные семинары по методам оптимизации - смотрите онлайн

Семинар 1. Utilizing Intrinsic Knowledge Of Visual Generative Models

Докладчик Сергей Кастрюлин исследователь Yandex Research Ссылка на Google Scholar О чём пойдёт речь Сегодня уже никого не удивить высоким качеством моделей генерации изображений и видео Крупные технологические компании соревнуются за пальму первенства в вопросах качества и скорости генерации визуального контента Но обязательно ли иметь огромные вычислительные ресурсы для получения Смотреть видео...

Семинар 10. Матричная задача Прокруста — неожиданные применения и новые алгоритмы

Докладчик Максим Владимирович Рахуба кфмн заведующий лабораторией матричных и тензорных методов в машинном обучении НИУ ВШЭ О чём пойдёт речь Матричная задача Прокруста это задача поиска наилучшей ортогональной матрицы приближающей заданную Несмотря на простую формулировку она находит применение в самых разных областях от квантовой химии до методов оптимизации в машинном обучении На Смотреть видео...

Семинар 9. Методы оптимизации круглых тензоров

Докладчик Андрей Веприков студент 5 курса ФПМИ сотрудник лаборатории BRAIn О чём пойдёт речь При обучении современных нейронных сетей все чаще параметры nnModule ю ноу имеют вид матриц двумерных тензоров однако классические методы оптимизации никак не учитывают эту структуру так как любимые AdamW и SGD sign SGD работают в режиме elementwise На семинаре обсудим два ключевых сюжета 1 Смотреть видео...

Семинар 8. Состязательная устойчивость методов обработки и сжатия видео

Докладчик Анастасия Анциферова кфмн старший научный сотрудник Института ИИ МГУ научный сотрудник ИСП РАН О чём пойдёт речь Современные методы обработки видео сталкиваются с двумя серьёзными вызовами 1 Уязвимость к состязательным атакам даже едва заметные искажения могут полностью сбить работу нейросетевых моделей 2 Нагрузки на сетевую инфраструктуру классические облачные решения не Смотреть видео...

Семинар 7. Гомогенность локальных данных в распределённом и федеративном обучении

Докладчик Дмитрий Былинкин студент 5 курса ФПМИ сотрудник лабораторий BRAIn и Федеративного обучения ИСП РАН О чем поговорим Гомогенность похожесть локальных данных ключевой фактор влияющий на эффективность распределённого и федеративного обучения Она позволяет сокращать коммуникационные затраты и ускорять обучение моделей что особенно важно в сценариях где данные распределены между Смотреть видео...

Семинар 6. Natural Gradient Descent

Докладчик Александр Шестаков студент 5 курса магистратуры МФТИ сотрудник лаборатории BRAIn Что такое Natural Gradient Descent Многие модели машинного обучения можно интерпретировать как вероятностные модели В таких моделях цель заключается не просто в минимизации функции потерь а в нахождении оптимального распределения параметров которое лучше всего описывает данные В этом плане NGD схож с Смотреть видео...

Семинар 5. Parameter-free Sign-SGD

Докладчики Даниил Медяков и Глеб Молодцов сотрудники лаборатории BRAIn и лаборатории Федеративного обучения ИСП РАН Почему это важно Современные модели вроде LLaMA и GPT требуют огромных объемов памяти Методы оптимизации например Adam усугубляют проблему они хранят дополнительные статистики съедая ресурсы SignSGD предлагает альтернативу вместо полного градиента он использует только его знак что Смотреть видео...

Семинар 4. Масштабная инвариантность

Докладчик Максим Кодрян к фм н постдок в лаборатории MLBio Lab в EPFL Лауреат премии Яндекса им И Сегаловича в 2022 Что такое масштабная инвариантность Масштабная инвариантность это свойство модели при котором изменение масштаба ее параметров не влияет на выходные предсказания Это явление естественным образом возникает в глубоких нейронных сетях использующих слои нормализации такие как Batch Смотреть видео...

Семинар 3. Динамическое масштабирование

Докладчик Дмитрий Феоктистов студент 5 курса ВМК МГУ резидент программы Yandex Research ML Residency Что такое динамическое масштабирование функции потерь Добавление весов к объектам обучающей выборки это стандартный подход в машинном обучении например для борьбы с дисбалансом классов В рамках семинара будет рассмотрена адаптация этих весов в процессе обучения что позволит не только Смотреть видео...

Семинар 2. Learning To Rank

Что такое ранжирование Задача ранжирования Learning to Rank заключается как ни странно в эффективном ранжировании объектов Данная постановка может находить применение во многих аспектах нашей жизни как например выдача списка релевантных сайтов или документов по запросу Одной из техник прививания сути ранжирования модели является выбор корректной функции потерь Поэтому существуют разные подходы Смотреть видео...

Семинар 1. Рекомендательные системы.

Кто расскажет К нам приедет Алексей Васильев руководитель группы рекомендательных систем в лаборатории ИИ Сбера и настоящий эксперт в этой области Его работы публикуются на топовых конференциях таких как KDD SIGIR и RecSys а его исследования помогают делать технологии умнее и полезнее Посмотреть его работы можно на Google Scholar О чём будет доклад Тема звучит сложно CrossDomain Latent Factors Смотреть видео...