Курсы ШАДа
В течение семестра каждый учащийся должен успешно пройти как минимум три курса. Например, если в основной программе их два, то необходимо выбрать какой-нибудь из спецкурсов
Курс предназначен для изучения алгоритмов для работы с большими данными.
Традиционные курсы по алгоритмам, несмотря на акцент на эффективности и практичности, обычно исходят из того, что обрабатываемые данные достаточно малы, чтобы поместиться в оперативную память компьютера, которая представляется одним большим массивом ячеек с одинаковым временем доступа к любой из них.
В реальных приложениях такая модель малоприменима: во‑первых, часто требуется обрабатывать данные на внешнем носителе (обычно — на жёстком диске); во‑вторых, повсеместное использование многоуровневых систем кэширования делает время исполнения алгоритма менее предсказуемым. Поскольку память не является гомогенной средой, хороший алгоритм должен обращать внимание на правильное с точки зрения локальности расположение данных.
Программа:
- Модель вычислений во внешней памяти
- Сортировка во внешней памяти
- Задача List ranking, техника time forward processing
- Структура данных Buffered Tree и её применения
- B-деревья и B+eps деревья в модели внешней памяти
- Хэш-таблицы во внешней памяти, техника linear hashing
- Структура данных PGM-index
- Техника LSM для построения эффективных структур данных, работающих с диском
- Алгоритмы фильтрации запросов: Bloom and Xor filters.
- Структура данных COLA (Cache-oblivious write-optimized structure)
- Устройство кешей в современных процессорах, cache-oblivious и cache-aware алгоритмы
- Задача бинарного поиска, cache-oblivious и cache-aware подходы к решению данной задачи
- Устройство памяти и кешей в GPU
- Эффективные и современные подходы к реализации hash-таблиц
- Модель вычислений на потоках данных (data streaming algorithms)
- Алгоритм Misra-Gries, структура данных Count-Min sketch
- Подсчёт числа различных элементов в потоке, BJKST-скетч
- Структура данных Q-digest
- Модель вычислений на окне (Sliding window)
Курс знакомит с базовыми алгоритмическими приёмами и структурами данных. Системные знания фундаментальных основ компьютерных наук важны для понимания работы библиотек, алгоритмов и языков программирования.
Он состоит из трёх частей:
- Лекции — дают необходимую теоретическую базу
- Семинары — разбор задач, демонстрирующих применение и скрытые возможности пройденных структур данных
- Домашние задания — закрепляют полученные знания и воспитывают хороший стиль написания кода, позволяющий избежать распространённых ошибок, в том числе у опытных разработчиков
Программа:
- Время и память как основные ресурсы. Модели вычислений: RAM, разрешающие деревья
- Учётная стоимость операций, метод потенциалов, банковский метод анализа сложности
- Динамическое программирование, общие принципы и применимость. Задача о наибольшей возрастающей подпоследовательности (LIS)
- Реализация очереди на паре стеков с константной учётной сложностью. Динамические минимумы и максимумы в стеках и очередях
- Сортировка слиянием (Merge-Sort). Inplace-разновидность. Galloping в бинарном поиске
- Быстрая сортировка (Quick-Sort). Способы выбора разделяющего элемента
- Порядковые статистики. Рандомизированный алгоритм Quick-Select. Детерминированный алгоритм поиска (метод «медианы медиан»)
- Кучи: основные определения и свойства. Операции Sift-Down и Sift-Up. Бинарные и k-ичные кучи. Построение кучи за линейное время. Алгоритмы сортировки Heap-Sort и Intro-Sort
- Случай целочисленных ключей: сортировка подсчётом (Count-Sort) и поразрядная сортировка (Radix-Sort)
- Хеш-функции. Коллизии. Разрешение коллизий методом цепочек. Гипотеза простого равномерного хеширования, оценка средней длины цепочки
- Универсальные семейства хеш-функций, оценка средней длины цепочки. Построение универсального семейства для целочисленных ключей. Совершенные хеш-функции. Построение совершенной хеш-функции методом двухуровневого хеширования
- Построение совершенной хеш-функции методом ациклических графов. Фильтр Блюма (Bloom filter). Оценка вероятности ложноположительного срабатывания
- Введение в потоковые алгоритмы. Задача подсчёта количества вхождений в потоке
- Locality-sensitive hashing. Семейства locality-sensitive хеш-функций и общий алгоритм. Семейство для расстояния Хэмминга
- Locality-sensitive hashing. Семейства для углового расстояния, евклидова расстояния. Asymmetric LSH — приближенный поиск точки во множестве с максимальным скалярным произведением с точкой запроса
- Asymmetric LSH
- Деревья поиска. Вставка и удаление элементов. Inorder-обход дерева. Обход Морриса для бинарных деревьев
- Красно-чёрные деревья: определение и основные свойства. Реализация операций вставки для красно-чёрного дерева
- Splay-деревья. Операция splay: zig, zig-zig и zig-zag шаги. Реализация операций вставки, удаления, слияния и разделения для splay-деревьев
- Декартовы деревья (treaps). Единственность декартова дерева для заданного набора различных ключей и приоритетов. Логарифмическая оценка матожидания высоты декартова дерева. Операции слияния и разделения для декартовых деревьев. Операции вставки и удаления элементов для декартовых деревьев
- Графы: основные определения и способы представления в алгоритмах. Обход в ширину. Обход в глубину. Лемма о белом пути. Проверка на ацикличность и топологическая сортировка
- Сильно связные компоненты и топологическая сортировка конденсации
- Классификация рёбер при обходе в глубину в ориентированном и неориентированном графах
- Точки сочленения: определение и нахождение с помощью обхода в глубину. Эйлеров обход: проверка существования и построение с помощью обхода в глубину.
- Кратчайшие пути в графах. Оценки расстояний и их релаксация. Алгоритмы Беллмана — Форда, Флойда и Дейкстры. Потенциалы. Критерий консервативности длин
- Алгоритм Флойда. Алгоритм Джонсона. Двухсторонний алгоритм Дейкстры. Алгоритм A*
- Алгоритм hub labels для задачи о кратчайших путях
- Задачи LCA и RMQ. Решение RMQ с помощью sparse table. Сведение LCA к RMQ (алгоритм Фарах — Колтона — Бендера). Сведение RMQ к LCA
- Остовы минимального веса. Лемма о минимальном ребре в разрезе. Алгоритмы Краскала и Прима
- Системы непересекающихся множеств. Реализация с использованием леса. Ранги вершин, эвристика ранга. Эвристика сжатия путей
- Алгоритм Борувки. Комбинация алгоритма Борувки и алгоритма Прима. Алгоритм Тарьяна для задачи LCA в офлайне
- Персистентные структуры данных. Виды персистентности. Модель вычислений Pointer Machine. Персистентные стеки
Курс охватывает основные синтаксические конструкции языка и структуры данных, основы ООП, а также базовые библиотеки Python для анализа данных и визуализации
Программа:
- Основы Python: синтаксис, операторы и базовые структуры
- Знакомство со средой: Jupyter Notebook
- Комплексные структуры данных
- Функции: от основ до продвинутых техник
- Взаимодействие с окружением
- Обработка ошибок. Введение в ООП
- ООП: атрибуты и методы, наследование и полиморфизм
- Основы NumPy: векторизация и вычисления
- Введение в Pandas: загрузка и исследование данных
Курс посвящён изучению аналитики двустороннего маркетплейса. В современной экономике крупнейшие корпорации — такие как Alibaba, Amazon, Uber, Yandex, Airbnb, Baidu — создают платформы (маркетплейсы), где могут встретиться участники с двух сторон рынка: продавцы и покупатели на Alibaba и Amazon, водители и пассажиры на Uber и Yandex Taxi, арендодатели и арендаторы на Airbnb. Курс раскрывает основные вопросы, встающие перед такими платформами, и технологии, позволяющие их решить. На примерах из реальной практики (Яндекс Такси) демонстрируется применение современных методов анализа эффективности работы подобных платформ
Программа:
- Понятие и экономические предпосылки возникновения двусторонних маркетплейсов, роль агрегатора на маркетплейсе, метрики маркетплейса
- Классические A/B-тесты: сплит по пользователям. Что такое сетевые эффекты? Что делать, есть тест влияет на контроль? Switchback-тесты: сплит по времени и/или географическим зонам. Буферные периоды сглаживания, временной сдвиг, геовременные бакеты, перестановочный тест
- Смещение в выборках: разные виды смещения — от простых до неочевидных. Как сегментировать выборку так, чтобы улучшать чувствительность тестов и избегать ошибок. Как оценивать эффекты в присутствии каннибализации
- Мэтчинг в двухсторонних маркетплейсах — алгоритм диспатча, скоринг участников рынка, сетевые эффекты в диспатче
- Динамическое ценообразование — сёрдж как инструмент балансировки рынка: рационирование спроса и стимулирование предложения, типы ценообразования, геозависимый прайсинг
- Субсидии — дисбаланс маркетплейса, способы оценки эффективности субсидий. Субсидии как инструмент мотивации и конкуренции
- Мэтчинг один ко многим — совместные поездки, управление и оценка эффективности
Курс предназначен для изучения архитектуры компьютера и операционных систем.
При разработке высоконагруженных систем важно учитывать окружение выполнения кода — например, в компаниях типа Яндекса это сервера с многоядерными процессорами x86 под Linux. Понимание работы процессора и ОС помогает разобраться в особенностях функционирования реального кода.
Курс охватывает теоретические и практические вопросы построения ОС: концепции и алгоритмы, взаимодействие с аппаратурой, виртуальную память, многозадачность и многопоточность, синхронизацию, блочные устройства, файловые системы и т. д.
Практические задания выполняются на учебной ОС Nikka с использованием языка Rust (глубоких знаний языка не требуется)
Программа:
- Системные вызовы
- Архитектура компьютера и взаимодействие ОС с оборудованием
- Язык ассемблера x86-64
- Виртуальная память
- Аллокаторы памяти
- Прерывания и исключения процессора
- Процессы и их планирование
- Формат ELF, линковка и запуск исполняемых программ
СУБД позволяют разработчикам не думать о том, как хранить данные на диске и как их искать, как обеспечить конкурентный доступ сразу многим пользователям, как оптимально воспользоваться ресурсами — всё это реализовано через интерфейс языка запросов (обычно диалекта SQL). Однако для построения высоконагруженных систем важно понимать, как работает СУБД и почему запросы выполняются за определённое время. Кроме того, есть специалисты, которые сами создают СУБД. В курсе разберём внутреннее устройство СУБД: хранение данных, выполнение запросов и реализацию транзакций. В Яндексе есть команды, разрабатывающие СУБД или схожие решения: Postgres, ClickHouse, YDB и YT. Курс в первую очередь предназначен для тех, кто хочет присоединиться к этим командам, а также будет полезен специалистам, работающим с хранилищами данных с доступом в реальном времени. От слушателей ожидается знание алгоритмов во внешней памяти, многопоточного программирования и распределённых систем, а также владение языком программирования C++
Программа:
- Введение в базы данных
- Хранение данных
- Буферный пул
- Log-structured storage
- Индексы и хэш-таблицы
- B±деревья
- Сортировка и агрегация
- Joins
- Выполнение запроса
- Оптимизация запросов
- Проблемы durability и восстановление после сбоя
- Управление транзакциями
- Распределённые базы данных
Курс нацелен на освоение т.н. байесовского подхода к теории вероятностей как одного из последовательных способов математических рассуждений в условиях неопределённости. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределённости. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Целью курса также является освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения. Байесовский подход позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удаётся решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч.
Предполагается, что в результате освоения курса студенты будут способны строить комплексные вероятностные модели, учитывающие структуру прикладной задачи машинного обучения, выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективно реализовывать данные модели
Программа:
- Введение в байесовские методы
- Сопряжённые распределения, экспоненциальный класс распределений
- Байесовские методы выбора моделей — принцип наибольшей
- Метод релевантных векторов для задачи регрессии
- Матрично-векторное дифференцирование
- Метод релевантных векторов для задач классификации
- Модели с латентными переменными
- EM-алгоритм
- Mean-field approximation
- Методы Монте-Карло с Марковскими цепями, Алгоритм Метрополиса — Гастингса
- Схема Гамильтонов
- VAE, NF
- Дополнительные главы вариационных кодировщиков
- Диффузионные модели
- Стохастические дифференциальные уравнения (SDE)
Программа курса посвящена освоению основ безопасности информационных систем. Курс поможет слушателям погрузиться в сферу информационной безопасности и получить базовые навыки для начинающего специалиста в ИБ, а также понять, как безопасность и стабильность обеспечивают доступность серверных приложений, конфиденциальность и целостность данных в серверной инфраструктуре и на пользовательских устройствах
Программа:
- Безопасность веб-приложения: server и client-side
- Безопасность мобильных приложений
- Прикладная криптография
- Аутентификация и авторизация
- Обратная разработка
- Уязвимости порчи памяти
- Безопасность операционных систем
- Безопасность облаков
- Разведка веб-приложений: сбор периметра и методы энумерации
- Автоматизация поиска уязвимостей порчи памяти: фаззинг
- Безопасность умных устройств
Курс рассчитан на тех, кто не учился лингвистике, но хочет узнать о разнообразии языков мира, о том, как устроен человеческий язык, и о том, что в нём пока плохо поддаётся автоматической обработке. В рамках курса предусматривается решение олимпиадных лингвистических задач разных типов (самодостаточных и не совсем).
Курс «Введение в лингвистику» предназначен для тех, кто не изучал лингвистику, но хочет узнать о разнообразии языков мира, устройстве человеческого языка и аспектах, плохо поддающихся автоматической обработке. В рамках курса решаются олимпиадные лингвистические задачи разных типов (самодостаточные и не совсем)
Программа:
- Вводная часть: язык как система
- Происхождение, функционирование и развитие естественных языков
- Языки мира
- Грамматика и лексика
- Фонетика
- Морфология
- Синтаксис
- Лексическая семантика
- Лексикография
- Корпусная лингвистика
Курс посвящён базовым криптографическим алгоритмам и схемам — основе прикладных криптопротоколов и систем. Рассматриваются блочные шифры, хэш‑функции, режимы шифрования, схемы выработки кодов аутентификации сообщений и другие симметричные криптографические алгоритмы, а также принципы их строения и решаемые с их помощью задачи.
Особенность курса — акцент на фундаментальных криптографических идеях, лежащих в основе схем и требований к ним, а не на реализации и перечислении аббревиатур (SHA1, MD5, AES и т. п.). Освещаются идеи современного криптографического анализа и принципы построения надёжной криптографической инфраструктуры
Программа:
- Современная криптография: задачи, принципы, подходы
- Блочные шифры
- Конфиденциальность
- Режимы работы блочных шифров
- Хэш-функции
- Целостность
- Протоколы обеспечения защищённого обмена сообщениями
- Криптографические ключи: генерация и нагрузка
В курсе рассматриваются методы оптимизации и теория, необходимая для обоснования их корректности. Сначала акцент делается на выпуклых задачах: они позволяют моделировать множество реальных задач и гарантируют их эффективное решение. Затем внимание переключается на методы и подходы для решения задач оптимизации в процессе обучения нейросетей. Также обсуждаются нюансы, связанные со сжатием предобученных моделей, их ускорением и повышением эффективности использования с точки зрения методов оптимизации
Программа:
- Базовые понятия из теории выпуклой оптимизации и прикладные задачи, которые можно решить с их помощью: выпуклые функции, условия оптимальности, конусы и им сопряжённые, а также двойственные задачи и их роль в релаксациях дискретных задач. Техника конической двойственности и её роль в построении эффективных и удобных в использовании солверов общего назначения
- Численные методы решения задач оптимизации, подходы к оценке их эффективности, детали реализации и потенциальные сложности, возникающие в процессе использования. Обоснование сходимости и эффективности численных методов
- Нюансы использования методов оптимизации для обучения нейросетей в различных предметных областях. Измения в построении методов, если требуется параллельное обучение, есть дополнительные ограничения на приватность, другие специфичные условия применения, связанные с построением масштабируемых моделей на основе гетерогенных источников данных
Курс посвящён современным генеративным моделям (в основном — в приложении к компьютерному зрению).
Изучаются следующие типы генеративных моделей:
- — autoregressive models
- — latent variable models
- — normalization flow models
- — adversarial models
- — diffusion and score models
Особое внимание уделяется свойствам различных классов генеративных моделей, их взаимосвязям, теоретическим предпосылкам и методам оценки качества.
Цель курса — познакомиться с широко используемыми передовыми методами глубокого обучения.
Курс сопровождается практическими заданиями, которые позволяют понять принципы работы рассматриваемых моделей
Программа:
- Logistics. Generative models overview and motivation. Problem statement. Divergence minimization framework. Autoregressive models (ImageGPT). Introduction. Maximum likelihood estimation. Histograms. Bayes theorem. PixelCNN. VAR
- Normalizing Flow (NF). Linear NF. Gaussian autoregressive NF. Coupling layer (RealNVP). Latent Variable Models (LVM). Planar and Radial Flows. Forward vs Reverse KL
- Latent variable models (LVM). Variational lower bound (ELBO). Аmortized inference. ELBO gradients, reparametrization trick. Variational Autoencoder (VAE). Forward vs Reverse KL. RealNVP
- Discrete VAE latent representations. Vector quantization, straight-through gradient estimation (VQ-VAE). ELBO surgery and optimal VAE prior. Learnable VAE prior. Gaussian Mixture Model (GMM). GMM and MLE. ELBO and EM-algorithm. GMM via EM-algorithm. Variational EM algorithm for GMM
- Likelihood-free learning. GAN optimality theorem. Wasserstein distance. Wasserstein GAN (WGAN). VAE: Implementation hints. Vanilla 2D VAE coding. VAE on Binarized MNIST visualization. Posterior collapse. Beta VAE on MNIST
- Evaluation of generative models (FID, Precision-Recall, CLIP score, human eval). Langevin dynamic. Score matching. Denoising score matching. Vanilla GAN in 1D coding. Mode collapse and vanishing gradients. Non-saturating GAN. Wasserstein GAN (WGAN) and WGAN-GP
- Denoising score matching. Noise Conditioned Score Network (NCSN). Forward gaussian diffusion process. Denoising score matching for diffusion. Reverse Gaussian diffusion process. Progressive Growing GAN. StyleGAN
- Gaussian diffusion model as VAE. ELBO for Denoising diffusion probabilistic model (DDPM). Reparametrization and overview of DDPM. Noise Conditioned Score Network (NCSN). Heuristic diffusion model
- Denoising diffusion as score-based generative model. Model guidance: classifier guidance, classfier-free guidance. Continuous-in-time NF and neural ODE. Denoising diffusion probabilistic model (DDPM). Denoising Diffusion Implicit Models (DDIM)
- Continuity equation for NF log-likelihood. SDE basics. Kolmogorov-Fokker-Planck equation. Probability flow ODE. Reverse SDE. Guidance. CLIP, GLIDE, DALL-E 2, Imagen
- Variance Preserving and Variance Exploding SDEs. Score-based generative models through SDE. Flow matching. Latent Diffusion Model. Stable Diffusion
- Conditional flow matching. Conical gaussian paths. Linear interpolation. Latent Diffusion Models Control Methods: ControlNet, IP-Adapter, Dreambooth, LoRA
- Link with diffusion and score matching. Discrete diffusion motivation. Forward discrete process. Reverse discrete process. Discrete ELBO objective. Latent Diffusion Models. Code
- Discrete diffusion for sequence. Absorbing diffusion. Continuous-time masked diffusion language model. Course overview. The Final Recap
Курс посвящён современным нейросетевым методам в компьютерном зрении и в компьютерной графике. Студенты изучат основы построения и обучения нейронных сетей, современные свёрточные и трансформерные архитектуры и их применение к задачам детекции объектов, сегментации изображений, обучению представлений, переносу обучения (transfer learning) и интерпретации моделей. Кроме того, в курсе рассматриваются нейросетевые методы для генерации изображений, включая GAN, вариационные автоэнкодеры и диффузионные модели. Дополнительно изучаются подходы к генерации новых видов 3D-сцен, основанные как на явной модели сцены, восстановленной нейросетевыми методами, так и с помощью нейронных рендереров
Программа:
- Intro, recap of Neural network basics, optimization, backprop, biological networks; Images, linear filtering, convolutional networks, batchnorms, augmentations
- ConvNet architectures and how to find them, transfer learning
- Non-convolutional architectures: vision transformers, mixers, FFT convolutions
- Visualizing and understanding deep architectures, adversarial examples
- Dense prediction: semantic segmentation, superresolution/image synthesis, perceptual losses
- Object detection, instance/panoptic segmentation
- Latent models (generative latent optimization, autoencoders, VQ-VAE)
- Flow models, diffusion models, generative transformers, DALL-E, multimodal apps (text2image)
- Representation learning: face recognition, verification tasks, self-supervised learning, few-shot learning, image captioning, CLIP
- VLM and other multimodal networks
- Image formation, depth & shape estimation: camera model, depth estimation basics, stereo and monodepth, structure from motion and stereo, foundational models in 3DCV
- Rendering algorithms and novel view synthesis: volumetric-based and mesh-based representations, rasterization, path tracing, neural radiance fields, gaussian splatting
Во многих приложениях машинного обучения можно столкнуться с данными, в которых известны связи между объектами: пользователи социальных сетей связаны через подписки, сайты в интернете — через ссылки, научные публикации — через цитирования, пользователи маркетплейсов и товары — через покупки, атомы молекул — через химические связи. Такие данные можно представить в виде графов. Машинное обучение на данных с графовой структурой (graph machine learning) — область, которая очень активно развивается в последние несколько лет.
Курс посвящён задачам машинного обучения с графами и методам работы с такими данными — от классических подходов до современных графовых нейронных сетей. Рассмотренные методы применяют для:
- — рекомендаций друзей, контента и товаров
- — выявления мошенников в интернете и социальных/транзакционных сетях;
- — показа рекламы
- — информационного поиска
- — моделирования дорожного трафика
- — прогнозирования погодных условий
- — управления цепями поставок
- — предсказания свойств молекул
- — комбинаторной оптимизации
- — быстрого поиска ближайших соседей в пространствах высокой размерности
Программа:
- Introduction: fantastic graphs and where to find them, applications of graph machine learning, centrality measures, PageRank
- Node classification in non-attributed graphs: label propagation, unsupervised node embeddings
- Graph neural networks, message-passing framework, expressive power
- Link prediction
- Graph classification
- Machine learning on large-scale graphs
- Combinatorial optimization
- Graph-based nearest neighbor search in high dimensions
- Network analysis and random graph models
- Graph generative models
- Community detection
Курс посвящён методам и алгоритмам компьютерного зрения — извлечению информации из изображений и видео. Он даёт введение в область компьютерного зрения и охватывает все ключевые задачи. Для большинства задач рассматриваются современные нейросетевые модели: свёрточные и трансформеры.
По каждой задаче разбираются: постановка, метрики оценки качества, актуальные датасеты и основные идеи современных алгоритмов решения. Акцент сделан на наиболее современных методах, применяемых в практических и исследовательских задачах. Курс носит преимущественно практический характер: лекции сопровождаются лабораторными и домашними работами, позволяющими применить большинство рассматриваемых методов на практике. Работы выполняются на языке Python с использованием различных библиотек
Программа:
- Введение в предмет. Цифровое изображение. Свет и цвет
- Основы обработки изображений
- Сжатие изображений. Преобразование Фурье
- Классификация изображений. Введение в нейросети
- Свёрточные нейросетевые архитектуры
- Трансформеры и свёрточные нейронные сети с большими ядрами
- Поиск похожих изображений
- Детекторы объектов
- Сегментация изображений
- Основы обработки видео
- Обучение без разметки. Фундаментальные модели
- Перенос стиля. Синтез изображений
- Вариационные автоэнкодеры. Диффузионные генеративные модели
- Чтение статей CV/ML
Курс — первая часть годовой программы по машинному обучению. В течение семестра слушатели пройдут путь от фундаментальных понятий и простейших методов (k‑ближайшие соседи, линейная регрессия) до мощных методов градиентного бустинга (XGBoost, CatBoost, LightGBM), введения в глубокое обучение и байесовского подхода.
Цель курса — глубокое погружение в принципы работы ключевых методов и их математические основы (МНК, градиентный спуск, регуляризация, статистические свойства). Освоение принципов построения и опыта применения таких моделей позволит самостоятельно понимать механизмы функционирования более сложных современных моделей и методов работы с данными, обнаруживать пути улучшения существующих методов и адаптировать методы машинного обучения для решения нестандартных задач.
Слушатели освоят весь пайплайн ML‑проекта, научатся работать с популярными инструментами (Scikit‑learn, PyTorch), разбираться в особенностях разных моделей (деревья, леса, бустинг, нейросети) и понимать, как оценивать и улучшать их качество. В программе — широкий спектр задач: регрессия, классификация, кластеризация, а также первое знакомство с компьютерным зрением и обработкой естественного языка.
Курс требует активного участия. Программа насыщенная, темп обучения высокий: предстоит быстро разбирать сложные концепции с фокусом на понимание того, как и почему работают методы ML, а не только на их использование. Работа предстоит серьёзная, но результативная
Программа:
- Введение в ML и метод kNN
- Линейная регрессия и основы оптимизации
- Логистическая регрессия и классификация
- Регуляризация в линейных моделях
- Статистические свойства моделей
- Решающие деревья. GLM
- Случайные леса, метрики
- Градиентный бустинг, валидация
- Работа с признаками. Обучение без учителя
- Нейросети и PyTorch
- Оптимизация нейросетей
- Свёрточные сети (CNN)
- Базовые методы NLP
- Байесовский подход
На семинаре знакомятся с предметной областью, обсуждают текущую научную работу слушателей, критикуют и генерируют новые идеи. На тематические семинары приглашают внешних экспертов
Курс могут сдавать только магистранты программ «Современные компьютерные науки» НИУ ВШЭ и «Анализ данных» МФТИ, записаться слушателем — любой студент. В роли слушателя можно расширить научный кругозор и тренировать внимательность, знакомясь с интересными и свежими работами в области data science. В роли докладчика — глубоко разобраться в научной статье и прокачать навыки публичных выступлений, готовя и проводя презентацию для опытной аудитории. Участие в семинаре даёт возможность профессионально расти
Темы курса зависят от выбранных для разбора студентами статей
В рамках курса рассматривается C++ — мощный язык с богатым наследием. Курс посвящён современному подмножеству языка — Modern C++ (стандарты 11, 14, 17, 20). Особое внимание уделяется инструментам и библиотекам, не входящим в состав языка, но необходимым для создания крупных и сложных проектов
Программа:
- Введение и основы языка
- Указатели, ссылки и функции
- Классы
- Шаблоны и STL
- Наследование
- Управление ресурсами
- Компиляция
- Расположение объектов в памяти
- Отладка
- Работа с исключениями
- Обзор STL
- Строки
- Корутины
Курс затрагивает набор продвинутых тем по разработке на C++ и предназначен для тех, кто хочет углубиться в различные аспекты языка
Программа:
- Метапрограммирование: SFINAE, concepts
- Ranges and views
- Undefined behavior в деталях
- Оптимизации компилятора
- Type aliasing
- Name lookup, ADL and customization point objects
- Модули
- Устройство виртуальных таблиц
- Move-семантика, вывод типов, std:relocate
- CRTP, deducing this
- Отладка, профилирование, санитайзеры
- Сборка, линковка, Make/CMake
- SIMD
В рамках курса изучаются: обработка и хранение больших объёмов данных на наборе машин, распределённые алгоритмы и общие идеи построения распределённых сервисов. Рекомендуемый пререквизит: понимание принципов многопоточного программирования
Программа:
- Введение. Модель отказоустойчивости. Реальные кейсы с отказами, дрейф часов
- Репликация: ABD. Gossip
- Atomic Broadcast, Amazon Dynamo, шардирование
- Невозможность консенсуса (FLP и CAP теоремы), распределённые блокировки
- Paxos. Multi-Paxos
- RAFT
- Распределённые транзакции
- MapReduce, примеры в YT
- Streaming. Apache Spark
- Тестирование распределённых систем (Jepsen)
- TLA+
- CRDT
- Kubernetes, YP, REX
- Bitcoin
Данный курс направлен на изучение сбора и разметки данных для машинного обучения.
Для обучения ML‑моделей часто требуется подготовить обучающий датасет — данные с разметкой, правильными ответами. Когда речь идёт про учебный проект или пет‑проект, об этом не всегда приходится задумываться. Но если речь идёт о работе в production‑сервисе, где есть свой поток данных, необходимо понимать, где взять размеченные данные.
Например, предположим, что речь идёт о Яндекс Лавке и необходимости обучить модель правильно классифицировать запросы пользователей из техподдержки. Без разметки конкретных запросов, которые поступают в Лавку, не обойтись.
В рамках курса будут рассмотрены следующие вопросы:
- — Какими средствами можно собрать разметку?
- — Можно ли собирать разметку для ML с помощью ML, когда да, а когда нет
- — Как размечать с помощью людей и организовать работу краудсорсинга? Как писать инструкцию и сколько платить исполнителям?
- — Как контролировать качество разметки?
Слушатели курса научатся организовывать процесс разметки данных для обучения ML — как с использованием ML, так и с привлечением краудсорсинга. Будут разобраны production‑кейсы о сборе разметки для генеративных моделей, компьютерного зрения и голосовых технологий в Яндексе. В качестве последнего домашнего задания участники соберутся в команды и обучат модель машинного обучения с помощью собранной разметки.
Из практических инструментов будут освоены:
- — интерфейс и API Яндекс Заданий для разметки на краудсорсинге
- — API опенсорсных LLM для разметки на моделях
Программа:
- Сбор обучающих данных для ML. Обзор способов сбора обучающих данных для ML (поиск готовых датасетов, парсинг данных, синтетика, ручная разметка на краудсорсинге, semi-supervision и автоматическая разметка на LLM, active-learning). Введение в краудсорсинг
- Контроль качества разметки на краудсорсинге. Расчёт бюджета разметки. Требования к качеству данных, интерфейсу и инструкции для исполнителей. Перекрытие, подмешивание контрольных заданий (honeypots), модерация, KPI-сеты
- Использование LLM для разметки данных. Полная разметка, саджест, предразметка. RAG для разметки. Simulated Annotators. Cascaded Selective Evaluation. Гибридные способы LLM + краудсорсинг
- Перекрытие в разметке и агрегация ответов. Перекрытие в разметке (статическое, динамическое, подмешивание голоса модели/человека). Агрегация ответов (Majority Vote, David Skene, Bradley-Terry и др.). Оценка уверенности ответа модели
- Кейс-стади. Смотрим на production-кейсы по настройке процессов разметки данных для задач компьютерного зрения, голосовых технологий и текстовых генеративных моделей
Курс углублённо изучает основы теории вероятностей и математической статистики — от аксиоматического построения вероятностного пространства до предельных теорем и марковских процессов, включая свойства случайных величин, распределений, моментов, характеристических функций, условной вероятности и совместных распределений. Сочетает теорию с практическими примерами и применением к задачам моделирования и анализа данных
Программа:
- Основы теории меры. Сигма-алгебры. Вероятностное пространство и аксиомы Колмогорова. Комбинаторика (сочетания, размещения, тождество Вандермонда и проч.)
- Измеримость. Случайные величины как измеримые функции. Распределения случайных величин. RN-производная. Условная вероятность, независимость событий, теорема умножения событий
- Построение измеримых функций: индикаторы и простые функции. Интегрирование по Лебегу. L^p-пространства. Матожидание и дисперсия. Формула Байеса, формула полной вероятности, парадокс Монти Холла
- Характеристическая и моментогенерирующая функции. Интегрирование по ядру. Преобразоания Фурье и Лапласа. Безусловная и условная независимость событий, парадокс Симпсона
- Информационное содержание сообщения. Энтропия. Вывод нормального распределения. Случайные величины, операции над случайными величинами, законы распределения случайных величин, распределение Бернулли, биноминальное распределение, гипергеометрическое распределение
- Статистики. Экспоненциальное семейство и максимизация энтропии. Категоризация распределений. Независимость случайных величин, функции случайных величин, геометрическое распределение, связь биноминального и гипергеометрического распределений
- Преобразования случайных величин, основные теоремы. Измеримые пространства. Математическое ожидание, линейность матожидания, доказательства о существовании с помощью матожидания
- Совместные распределения. Совместные пространства. Прямоугольники и цилиндры. Проекции и маргиналы. Статистические функционалы. Распределение Пуассона и его связь с биноминальным распределением, экспоненциальное распределение, процессы Пуассона
- Многомерные распределения. Обобщённые пространства и сигма-алгебры. Теоремы интегрирования. Сходимость по вероятности. Начальные и центральные моменты, производящие функции моментов и вероятностей, распределение Вейбулла
- Условные распределения, правило Баейса и общая вероятность. Условные матожидание и дисперсия. Многомерные случайные величины, ковариация и коэффициент корреляции, n-мерный нормальный закон распределения, регрессия
- Неравенства Гёльдера, Маркова, Чебышева и т.п. KL-диверегенция. Бета- и гамма-распределения, хи-квадрат, порядковые статистики
- Закон больших чисел. Центральная предельная теорема, сходимость распределений, степени свободы. Условные матожидание и дисперсия
- Марковские цепи и состояния. Матрица перехода. Стационарное распределение. Законы больших чисел, центральная предельная теорема, неравенства Коши — Шварца, Йенсена и другие
- Марковские цепи Монте-Карло. Понятие, свойства и основные проблемы. Марковские цепи, стационарное распределение
- Многомерные процессы Пуассона. Двойственность. Марковские цепи и процессы Пуассона
- Колмогоровская сложность. Проблема инвариантности. Проблема останова. Универсальная индукция, Функция Busy Beaver и вычислимость. Многомерные процессы Пуассона
Курс посвящён изучению теории игр. В математике игрой называется стратегическое взаимодействие сторон — например, людей, животных, фирм, стран. Теория игр пытается предсказать исход такого взаимодействия. Её задача — найти стратегию, позволяющую игроку достичь наилучшего результата с учётом того, что исход игры зависит не только от его действий, но и от действий оппонентов. Основной подход к «решению» игр предложил американский математик Джон Нэш, получивший в 1994 году Нобелевскую премию по экономике. В рамках курса изучаются основные понятия теории игр, разбираются игровые модели и задачи из разных областей знаний (экономика, биология, политология), которые теория игр помогает решить
Программа:
- Игры с одновременными ходами. Строгое и слабое доминирование. Последовательное исключение строго доминируемых стратегий. Примеры неинтуитивных профилей стратегий, остающихся после исключения по строгому доминированию. Случайный выбор (функция полезности фон Неймана — Моргенштерна)
- Наилучший ответ. Последовательное исключение стратегий, не являющихся наилучшим ответом. Цепочка оправданий и рационализируемые стратегии
- Равновесие Нэша в чистых и смешанных стратегиях. Теоремы существования равновесия Нэша. Метод стакана для вычисления равновесий Нэша для игр с двумя игроками и 2*M-стратегиями
- Игры с нулевой суммой. Минимакс и максимин. Осторожные стратегии и гарантированный результат. Седловая точка. Цена игры. Антагонистические игры. Связь цены игры и существования седловой точки. Седловая точка и равновесие Нэша. Склонность к риску
- Игры в развёрнутой форме. Дерево игры. Совершенная информация. Информационные множества. Случайный выбор (функция полезности фон Неймана — Моргенштерна)
- Построение нормальной формы игры по развёрнутой и обратно. Смешанные стратегии. Поведенческие стратегии. Игры с совершенной памятью. Связь между поведенческими и смешанными стратегиями
- Динамические игры. Неубедительные угрозы. Рафинирование равновесия Нэша. Равновесия, совершенные по подыграм. Метод обратной индукции в конечных играх с совершенной информацией. Дуополия Курно. Модель Штакельберга. Критика метода обратной индукции и равновесий, совершенных по подыграм
- Многопериодные игры с наблюдаемыми действиями. Принцип однократного отклонения. Повторяющиеся игры. Повторяющаяся конечное и бесконечное число раз дилемма заключённых. Делёж пирога. Последовательный торг по Рубинштейну
- Игры с неполной информацией. Дуополия Курно с неполной информацией, задача простого торга, вложение в общественное благо. Равновесие Байеса — Нэша
- Эксперимент. Ultimatum Bargaining Game (Guth et al. 1982)
- Введение в теорию аукционов
- Мэтчинг, или теория паросочетаний (Matching theory) — бонусная лекция про женитьбу
Курс направлен на изучение теории информации. В науке не существует единого подхода к определению понятия информации: в разных областях оно трактуется по‑разному. Существуют понятие информации по Хартли, энтропия Шеннона, Колмогоровская сложность и коммуникационная сложность — каждое отражает некоторую грань интуитивного понятия информации. В рамках курса рассматриваются эти понятия и их применение в решении различных задач
Программа:
- Информация по Хартли (двоичный логарифм количества возможных исходов)
- Применения информационного подхода для решения задач о взвешиваниях (сортировки): нижняя оценка n log n для количества сравнений, необходимых для сортировки n чисел, оценка количества сравнений, необходимых для нахождения фальшивой монетки (или радиоактивного элемента). Сортировка 5 камней за 7 взвешиваний, нахождение фальшивой монетки из 12 монет за 3 взвешивания
- Применения информационного подхода в коммуникационной сложности: метод прямоугольников. Трудные множества для предикатов EQ, GT, DISJ. Метод размера на примере предиката IP. Метод ранга матрицы на примере EQ, GT
- Распределения вероятностей на буквах данного алфавита (случайные величины со значениями в данном конечном множестве). Однозначные и префиксные бинарные коды букв данного алфавита. Средняя длина кода одной буквы
- Определение энтропии Шеннона и её связь со средней длиной оптимального префиксного кода. Код Шеннона — Фано
- Неравенство Крафта — Макмиллана и нижняя оценка средней длины любого однозначного кода
- Реальные тексты как марковские цепи небольшого порядка и верхняя оценка количества информации в них. Избыточность
- Пары совместно распределённых случайных величин с конечными множествами исходов. Неравенство для энтропии Шеннона пары случайных величин
- Условная энтропия Шеннона и её свойства
- Независимость и энтропия. Информация в одной случайной величине о другой. Коммутативность информации
- Игра по угадыванию исхода случайной величины. Стоимость инсайдерской информации и энтропия Шеннона. Использование экспертов и аггрегационный алгоритм Вовка
- Информационные неравенства. Базисные неравества и их следствия (шенноновские неравенства). Цепное правило. Марковская цепь и её свойство
- Применения информационных неравенств: теорема Шеннона об идеальном шифре, неравенство Шерера и вывод из него неравенства Лумиса — Уитни, нижние оценки для схем разделения секрета, неравенство Ромащенко — Каседа и вывод из него неравенства для количества квадратов
- Близкие случайные величины и неравенство Фано
- Классификаторы и их информативность
- Теорема Шеннона о блочном кодировании (Shannon noiseless coding theorem)
- Пропускная способность канала с шумом и теорема о блочном кодировании для каналов с шумом (без полного доказательства)
- Передача информации при наличии исходной информации у потребителя. Теорема Вольфа — Слепяна (без полного доказательства)
- Предсказание с использованием экспертов
- PAC learning: нахождение значения одной одной случайной величины по известному значению другой при неизвестном заранее совместном распределении вероятностей. Размерность Вапника — Червоненкиса. Бустинг
- Сжатие информации и универсальные декомпрессоры. Количество информации в данном тексте (файле) по Колмогорову (колмогоровская сложность)
- Свойства колмогоровской сложности: сложность не превосходит длины, сложность не увеличивается при алгоритмических преобразованиях, сложность невычислима, но перечислима сверху
- Количество слов малой сложности, несжимаемые слова
- Применения колмогоровской сложности для оценки времени работы алгоритмов (оценка количества шагов для копирования одноленточной машиной Тьюринга)
- Условная колмогоровская сложность. Сложность пары слов и теорема Колмогорова — Левина
- Аналогия между колмогороской сложностью, шенноновской энтропией и информацией по Хартли
- Связь колмогоровской сложности и энтропии Шеннона: колмогоровская сложность слова, состоящего из последовательности независимых одинаково распределённых букв, равна его энтропии Шеннона
- Подход Р. Соломонова к прогнозированию битов последовательности, случайной по данному неизвестному распределению вероятностей; универсальные предсказатели
Теория информации, возникшая как формальная теория связи, всё чаще применяется в криптографии, биологии, квантовых вычислениях и машинном обучении. В последнем случае она претендует на роль «теории всего», описывая с единых позиций классические задачи машинного обучения: отбор признаков, классификацию, регрессию, обучение без учителя, генеративное моделирование и др. Теоретико‑информационные подходы также используют для исследования малоизученных явлений в глубоком обучении — хорошей обобщающей способности глубоких нейросетей, гроккинга, роли проекционных голов в контрастивных методах и т. д. Курс посвящён изучению основных теоретико‑информационных величин, полезных для задач машинного обучения, и их ключевым приложениям
Программа:
- Введение в теорию информации (часть 1). Дивергенция Кульбака — Лейблера, f-дивергенция. Энтропия Шеннона и дифференциальная энтропия, основные свойства; энтропия как KL до равномерного распределения. Распределения, максимизирующие энтропию
- Введение в теорию информации (часть 2). Взаимная информация (ВИ) как KL от совместного распределения до произведения маргинальных распределений. ВИ как разность энтропий. Оценка ВИ через оценку плотности. Цепное правило, неравенство обработки информации. Инвариантность ВИ
- One metric to rule them all. Дивергенции и проверка гипотез. Связь ВИ и ошибки классификации (неравенство Фано). Связь ВИ и ошибки регрессии. Трансферное обучение
- Вариационные неравенства. Вариационная форма Донскера — Варадхана для KL-дивергенции, связь с energy-based models. Дуальность f-дивергенций, f-GAN. Оценка ВИ через вариационные неравенства (Mutual information neural estimation). Оценка сверху качества на тестовом датасете через ВИ между весами модели и тренировочным датасетом. Принцип информационного бутылочного горлышка
- Обучение без учителя и самообучение как максимизация ВИ. Deep InfoMax. Автокодировщики максимизируют ВИ. Контрастивные методы максимизируют ВИ. Другие SSRL-методы, которые максимизируют ВИ. Что говорит теория информации о проекционных головах? Distribution matching через максимизацию ВИ
- Теория информации и генеративные модели. Generalized energy-based models. Диффузия как задача обращения марковского ядра. Теорема Гирсанова. Оценка ВИ через диффузию. Выравнивание генеративных моделей при помощи поточечной взаимной информации
- Проклятие размерности и sliced-методы. Экспоненциальная сложность оценки ВИ. Sliced mutual information (SMI). Max-SMI. Плюсы и минусы этих метрик. Проверка случайных величин на независимость
Курс посвящён изучению языка Python. Он широкий и разносторонний, не привязан к одной специализации: лекторы разных направлений рассказывают о выбранной технологии через призму своего опыта. Курс практичный — весь разбираемый материал пригодится в дальнейшей работе: темы разъясняются на простых примерах и на примерах из рабочих процессов. Он также интенсивный: подавляющая часть лекционного материала отрабатывается в домашних заданиях
Программа:
- Введение в курс и основы Python
- Структуры данных
- Функции и работа с данными
- Пространства имён и декораторы
- CPython и bytecode.
- Объектно-ориентированное программирование
- Обработка ошибок и модульность
- Итераторы, генераторы и типизация
- Функциональное программирование и MapReduce
- Тестирование и сериализация
- Параллелизм и веб-технологии
- Асинхронное программирование
- Прикладное API
- Работа с базами данных
- Паттерны проектирования и метапрограммирование
Курс предназначен для изучения языка Rust — молодого системного языка программирования, созданного с учётом опыта C и C++.
В развитии языка участвуют крупные ИТ‑компании (Google, Amazon, Microsoft, Huawei и др.), входящие в Rust Foundation.
Rust сочетает выразительность Python, безопасность Java и быстродействие C. По сравнению с C++ он безопаснее и не допускает undefined behavior без потери производительности. В отличие от Go, предотвращает гонки и нежелательные захваты переменных, а также отличается более высокой производительностью за счёт отсутствия runtime. Это достигается благодаря системе владения объектами и отслеживания их времени жизни — она выявляет баги, связанные с небезопасной работой с памятью, на этапе компиляции.
По результатам ежегодных опросов Stack Overflow, Rust — самый любимый язык разработчиков последние восемь лет подряд. Вероятность того, что вы его полюбите, — больше 80%!
Программа:
- 1.1. Зачем придуман Rust
- 1.2. Семинар: пишем Game of Life на Rust
- 2. Владение объектами, время жизни и Borrow Checker
- 3.1. Слайсы. Enums & pattern matching
- 3.2. Traits & dynamic dispatch
- 4.1. Generics & static dispatch
- 4.2. Умные указатели
- 5.1. Обработка ошибок
- 5.2. Анонс первого проекта
- 6.1. Interior mutability. Dynamically sized types, any, unsized coercion
- 6.2. Функциональные аспекты языка. Итераторы и замыкания
- 7.1. Кодогенерация и макросы
- 7.2. Разбор крейтов на макросах: clap, serde
- 8.1. Модули, библиотеки и модель компиляции. Тестирование. Cargo doc
- 8.2. Анонс второго проекта
- 9.1. Многопоточное программирование
- 9.2. Сетевое программирование. Логирование и метрики
- 10.1. Async Rust
- 10.2. Разбор асинхронного фреймворка rio
- 11.1. Tokio и его экосистема
- 11.2. Разбор крейта Axum
- 11.3. Анонс третьего проекта
- 12.1. Unsafe Rust
- 12.2. Embedded Rust
- 13.1. Chip8 на микроконтроллере
- 13.2. Rust + Python
- 14.1. Advanced lifetimes. Lifetime variance
- 14.2. Rust в ядре Linux
Курс посвящён изучению современных методов работы с геоданными и их применению в задачах машинного обучения. Слушатели научатся обрабатывать и визуализировать геоданные, решать прикладные задачи оптимизации и прогнозирования с использованием специализированных библиотек Python. В рамках курса рассматриваются реальные кейсы из области логистики, транспорта и геоаналитики: от оптимального размещения объектов и предсказания адресов назначения поездок до анализа спутниковых снимков и построения геоэмбеддингов. Особое внимание уделяется специфичным реализациям моделей машинного обучения для работы с пространственными данными
Программа:
- Основы работы с геоданными. Понятие геоданных и геоинформационных систем. Координатные системы и геопроекции. Библиотеки geopandas, shapely, folium для обработки и визуализации. Работа с Open Street Map, Overpass API, Nominatim, OSMnx
- Оптимизация и логистика. Численная оптимизация с использованием CVXPY. Задача размещения объектов (Facility Location Problem). Задача коммивояжёра (TSP). Map matching — привязка GPS-треков к дорожной сети
- Специализированные методы бустинга. Градиентный бустинг для multioutput-задач. Функции потерь с оценкой неопределённости. Задачи ранжирования: метрики и применение для предсказания маршрутов
- Геоэмбеддинги и свёрточные нейронные сети. Методы построения геоэмбеддингов. Библиотека pytorch-lifestream. Свёрточные нейронные сети для сегментации спутниковых снимков. Предсказание спроса в связанных геолокациях
- Временные ряды спроса в геолокациях. STL-декомпозиция, FFT-трансформация. SARIMAX, бустинг, RNN
Курс посвящён обработке естественного языка (NLP) — области ИИ, позволяющей строить модели для работы с текстом: от базовых задач понимания и классификации до решений на основе больших языковых моделей. Слушатели познакомятся с ключевыми задачами NLP и типовыми пайплайнами работы с текстовыми данными. Рассматривается база классического NLP, но основной фокус — на современных SOTA‑подходах и практиках вокруг LLM: их применении, адаптации и улучшении под реальные данные и продукты. Курс сочетает теорию и практику для уверенного использования актуальных инструментов NLP в прикладных задачах
Программа:
- Word embeddings. Text classification
- Language models
- Seq2seq, Attention
- Transfer learning, BERT
- LLMs, GPTs
- Prompting, In-context learning
- Conversation systems, Alignment, RLHF
- Efficiency
- Retrieval
- LLM-Agents
- Interpretability
- Multimodal LLMs
Обучение на курсе нацелено на оперативное выявление и прогнозирование сбоев из‑за узких мест и нехватки ресурсов в эффективных сервисах.
В рамках курса изучим:
- принципы SRE: показатели надёжности (SLI, SLO, SLA), автоматизация задач, observability проектирование отказоустойчивой архитектуры
- настройку CI/CD
- автоматизацию рутинных операций
- управление инцидентами
Полученные на курсе знания помогут создавать и поддерживать высоконадёжные сервисы, оптимизировать внедрение и повышать культуру непрерывного улучшения в командах
Программа:
- How complex systems fail
- SRE in practice: alerts, duty shifts, SLO
- CI/CD, release cycle
- Distributed observability
- System design, capacity management, overload control
- Performance tools
- Infrastructure management
Курс даёт базовые математические понятия и методы для решения задач трёхмерного компьютерного зрения — ключевой технологии для робототехники, беспилотного транспорта, автоматизации производства, дополненной и расширенной реальности, вычислительной фотографии и создания 3‑мерного контента для компьютерной графики
Программа:
- Введение в 3D-зрение. 3D-представления
- Модель цифровой камеры. Перспективная проекция. Калибровка камеры
- Многовидовая геометрия. Гомография, фундаментальная матрица, триангуляция
- Разреженная многовидовая реконструкция. Задачи Structure-from-motion (SFM) и Simultnaneous Localization and Mapping (SLAM)
- Дифференцируемая графика: прямой и обратный рендеринг
- Дифференцируемая графика: освещение и нейрорендеринг
Курс посвящён изучению A/B‑тестирования.
В разных областях возникают вопросы такого типа:
- — Превосходит ли новая нейросетевая модель поиска традиционный подход?
- — Удобнее ли пользователям совершать заказы в новом интерфейсе интернет‑магазина?
- — Приводит ли установка собственной пекарни в супермаркете к росту прибыли?
- — Эффективнее ли новое лекарство или вакцина?
- — Влияет ли курение на ход некоторого заболевания?
- — На каких пользователях эффект от рассылки спама будет наибольшим?
- — Каков будет эффект от данного лечения для конкретного пациента?
На первый вопрос можно ответить, посчитав различные метрики качества, о которых рассказывают в курсах. Однако такие метрики не всегда хорошо отражают поведение и привычки пользователей. A/B‑тестирование позволяет оценить, действительно ли предполагаемые изменения улучшат опыт пользователей.
Несколько занятий курса посвящено методам Causal Inference (анализа причинно‑следственных связей). Эти методы широко применяют для оценки эффектов, когда невозможно провести честное A/B‑тестирование, а также в более широких задачах — например, в uplift‑моделировании. Кроме того, методы CI используют в CV, NLP и генеративном моделировании. Некоторые современные методы CI, которые рассматриваются в рамках курса, основаны на нейросетевых моделях
Программа:
- Повторение основ статистики, проверка стат. гипотез
- Основные критерии A/B-тестирования, планирование эксперимента
- Методы повышения чувствительности тестов
- Байесовский подход к A/B-тестированию
- Оценка эффекта в А/B-тестах с помощью методов Causal Inference
- Современные методы Causal Inference и их применение в различных областях
Курс знакомит слушателей с базовыми алгоритмическими приёмами и структурами данных, важными для понимания работы библиотек, алгоритмов и языков программирования. Вторая часть посвящена строковым алгоритмам, индексным структурам данных, детерминированным и недетерминированным алгоритмам, а также потоковым алгоритмам
Программа:
- Алгоритм Кнута — Морриса — Пратта
- Z-функция. Поиск шаблона с опечаткой
- Алгоритм Ахо — Корасик
- Алгоритм Укконена
- Суффиксные массивы
- Алгоритм Карккайнена — Сандерса. LCP-массив
- Свёрточные методы для приближенного поиска подстрок. Быстрое преобразование Фурье
- Преобразование Барроуза — Уилера
- Конечные автоматы
- Минимизация конечных автоматов. Регулярные выражения
- Потоки в сети. Алгоритм Форда — Фалкерсона
- Предпоток, алгоритм проталкивания предпотока
- Глобальные минимальные разрезы
- Подграфы максимальной плотности, параметрические потоки
- Использование потоковых алгоритмов в задачах оптимизации
Курс охватывает основные синтаксические конструкции языка и структуры данных, основы ООП, а также базовые библиотеки Python для анализа данных и визуализации
Программа:
- Продвинутый NumPy и введение в SciPy
- Трансформация данных с Pandas: очистка и группировка
- Объединение данных и оконные функции в Pandas
- Визуальный анализ данных: Matplotlib и Seaborn
- Инжинеринг признаков и предобработка
- Основы машинного обучения
- Оценка качества моделей и кросс-валидация
- Продвинутые модели и обучение без учителя
- Автоматизация: Pipeline и подбор гиперпараметров
- Основы контейнеризации и развёртывания: Docker
- Продвинутый Docker и альтернативы
Вторая часть курса по базам данных — более глубокое погружение в устройство современных СУБД. Будут разобраны актуальные для разработчиков темы с особым акцентом на оптимизацию SQL‑запросов. На последних занятиях изучается устройство нескольких реальных современных систем, а также представляется информация о системах, разрабатываемых командой преподавателей курса
Программа:
- Современные базы данных
- Графовые СУБД
- Выполнение запросов через кодогенерацию
- Оптимизация SQL-запросов
- Аналитика, MPP-аналитика, HTAP
- Поколоночное хранение и выполнение
- Транзакции и тестирование
- Отказоустойчивость
- Разработка промышленных СУБД (лекции читают приглашённые разработчики)
Курс является продолжением курса первого семестра. Он посвящён асимметричной криптографии и криптографическим протоколам: схемам шифрования с открытым ключом, схемам электронной подписи, протоколам согласования ключей.
Особое внимание уделяется протоколам аутентифицированной выработки общего ключа и защиты канала связи, в т. ч. базовому криптографическому протоколу современного интернета — TLS. Также рассматриваются проблемы доверия к открытым ключам, инфраструктура открытых ключей PKI и методы защищённого хранения закрытых ключей.
Заключительные лекции посвящены новым направлениям в криптографии: квантовой криптографии, системам дистанционного электронного голосования (ДЭГ) и блокчейну
Программа:
- Криптография с открытым ключом. Основные механизмы, задачи и проблемы
- Математические основы криптографии с открытым ключом
- Базовые сложные математические задачи криптографии с открытым ключом
- Шифрование с открытым ключом
- Электронная подпись
- Инфраструктура открытых ключей
- Протоколы аутентифицированной выработки общего ключа
- Защищённое использование закрытого ключа и PAKE-протоколы
- Протокол TLS
Lean — это активно развивающаяся система доказательств и язык программирования. Ключевая практическая ценность — возможность формально задать спецификацию программы в виде теоремы и строго доказать её. Такой подход обеспечивает намного большие гарантии корректности по сравнению с традиционным тестированием и используется в областях, где цена ошибки особенно велика. На курсе мы изучим Lean и как язык программирования, и как систему доказательств, а также освоим основные методы верификации программ. По завершении курса студенты смогут свободно читать современные работы по верификации. Курс состоит из трёх основных и двух продвинутых блоков. Каждый блок занимает около трёх недель
Программа:
- Функциональное программирование на Lean: типы и функции, структуры, индуктивные и зависимые типы, полиморфизм и тайпклассы
- Доказательство теорем на Lean: соответствие Карри — Говарда, пропозициональная логика, тактики
- Верификация императивных программ
- Погружение императивных программ внутрь Lean, операционная и денотационная семантика, логика Хоара
- Dafny: автоматическая верификация, основанная на логике Хоара
- Aeneas: мост между Rust и Lean
- Эффективное функциональное программирование: монады, do-notation, трансформеры монад, верификация монадических программ, фреймворки Std.Do и Loom
- Метапрограммирование и тактики: внутреннее устройство Lean, элаборация, Expr, монады MetaM и TacticM, написание собственных тактик
Опционально:
Курс посвящён изучению вычислений на графических процессорах при помощи C++/CUDA.
Сегодня устройства, на которых выполняются вычисления, разнообразны — от мобильных гаджетов до суперкомпьютеров, от часов до автопилота Tesla. При этом требования к ним различаются: в одних случаях критична скорость обработки данных (HFT), в других — энергопотребление (Neuralink), в третьих — удобство программирования (например, при обучении ML‑моделей).
Графические процессоры (GPU) обеспечивают компромисс между энергоэффективностью и лёгкостью программирования, поэтому они широко применяются в машинном обучении, компьютерной графике, биоинформатике и других областях
Программа:
Часть 1. Модель разделяемой памяти:
- Модель разделяемой памяти. Когерентность кешей и стоимость блокировок. Операционный и аксиоматический подходы к моделям памяти. Sequential Consistency для DRF-программ
- Дизайн структур данных на мелкогранулярных блокировках: хэш-таблицы (chaining, cuckoo), списки и skip list. Пессимистичные и оптимистичные блокировки
- Неблокирующая синхронизация и гарантии прогресса wait-freedom и lock-freedom. Дизайн lock-free-структур данных: стэк, очередь, хэш-таблица. Управление памятью в lock-free-структурах данных. Бонус: MultiCAS или lfalloc
- Транзакции и сериализуемость
-
Алгоритмы
5.1. 2PL, conflict serializability, SG
5.2. Snapshot Isolation и аномалии
5.3. Serializable SI. Hardware Transactional Memory, реализация HTM поверх протокола когерентности
Часть 2. Модель передачи сообщений:
- Модель передачи сообщений, время и виды часов (кварцевые, атомные), невозможность синхронизации часов, синхронизация часов в GPS, TrueTime
- Линеаризуемость на примере репликации регистра. Временные метки и кворумы
- Репликация через Atomic Broadcast, линеаризуемость. Эквивалентность Atomic Broadcast и Consensus
- Невозможность консенсуса: n>2fn>2fn>2f и FLP. Результаты для модели разделяемой памяти
- Single Decree Paxos, State Machine Replication и MultiPaxos
- Формальные методы, model checking, темпоральная логика, TLA+ и PlusCal, разбор специификаций для Paxos, Snapshot Isolation, Ticket Lock
В курсе подробно изучаются современные генеративные парадигмы в компьютерном зрении. Основной фокус сделан на диффузионных моделях: их теоретических интерпретациях, а также передовых методах обучения и сэмплирования, обеспечивающих высокое качество и скорость генерации. Отдельное внимание уделяется гибридным генеративным моделям на основе диффузии, которые сегодня широко применяются в продуктовых сервисах для генерации изображений и видео. Также разбираются последние достижения в авторегрессионной генерации изображений и их взаимосвязь с диффузионными моделями. В конце курса рассматриваются актуальные решения для мультимодальной и 3D‑генерации
Программа:
- Introduction to Diffusion Models: Denoising Diffusion Probabilistic Models (DDPMs) & Denoising Score Matching (DSM)
- Continuous Diffusion Models: Probability Flow ODE and SDE formulations
- Flow Matching and its connection to diffusion models
- Efficient PF-ODE/SDE solvers: Euler methods, DDIM, and DPM-Solver
- Diffusion Models in Practice: diffusion spaces, most recent architectures, design choices, training and sampling techniques
- Flow Map Models: learnable PF-ODE integrators for faster sampling. (Consistency Models, MeanFlow)
- Distribution Matching for few-step generators (DMD, ADD, SwD, Drifting).
- Video Generation: architectures and challenges.
- Efficient DL Diffusion Models: model-level optimizations (caching, sparse attention, etc.)
- Autoregressive Visual Generation: discrete image tokenizers VQ-VAE/VQ-GAN, scale-wise models (VAR, Switti), continuous AR models (MAR)
- Multimodal Generative Models: architectures and training setups
- 3D Generative Models: intro to 3D modeling and multi-view diffusion models
Этот курс является продолжением курса по архитектуре компьютера и операционных систем, который читается в осеннем семестре. В рамках курса продолжается разработка учебной операционной системы Nikka
Программа:
- Кеши процессора. SMP и NUMA
- Модели памяти
- Примитивы синхронизации
- Межпроцессное взаимодействие
- Постоянная память: HDD и SSD
- Файловые системы
- Собираем процессор из транзисторов
Курс является продолжением курса теории игр. В первой половине изучаются дополнительные главы теории игр, не затронутые в основном курсе:
- — теория социального выбора и доказательство теоремы Эрроу о невозможности демократии;
- — игры с сигнализированием (на примере инвестиций в образование): демонстрация того, что сильным студентам необходимо вкладываться больше, чтобы подать рынку верный сигнал;
- — модели кооперативной теории игр: принципы кооперации и справедливого распределения прибыли и затрат.
Во второй половине курса рассматривается теория аукционов и дизайн механизмов:
- — анализ известных видов аукционов, сравнение эффективного и оптимального способов продажи товара;
- — детальный разбор обобщённого аукциона второй цены и аукциона Вики (используется поисковыми системами и социальными сетями, включая Яндекс, Google, Facebook, для продажи рекламы);
- — постановка задачи поиска оптимального механизма продажи товара
Программа:
- Теория социального выбора. Теорема Мэя. Теорема Эрроу
- Игры с сигнализированием
- Кооперативная теория игр
- Теория конфликтов
- Введение в теорию аукционов
- Аукцион I и II цены. Равновесия, сравнение прибыли аукциониста
- Теорема об эквивалентности дохода (RE). Решение разных аукционов через RE
- Risk-averse-покупатели. Ограничение по бюджету. Асимметрия
- Введение в теорию механизмов. Прямые механизмы. Совместимые со стимулами механизмы
- Оптимальный механизм. Эффективный механизм (VCG). Position auction (на примере статьи Varian)
- Position auction (по статье Эдельмана, Островского и Шварца). Сговоры в аукционах. Зависимые ценности
Курс посвящён изучению комбинаторной оптимизации. Его цель — познакомить слушателей с типичными классами задач оптимизации, в которых множество допустимых решений имеет явно выраженную «комбинаторную» природу, и эффективными способами их решения. Множество подобных задач возникает, например, в теории графов (паросочетания, пути, упаковки, покрытия, раскраски и т. д.).
В рамках курса акцент сделан не только на чисто комбинаторных методах, но и на применении теории линейного и целочисленного программирования. Ключевыми станут понятия линейной двойственности и различные свойства целочисленности линейных программ (тотальная унимодулярность и тотальная двойственная целочисленность) — наряду со стандартными оптимизационными инструментами (симплекс‑метод, метод эллипсоидов, метод внутренней точки). Это позволит единообразно описать широкий класс комбинаторных задач, решаемых за полиномиальное время.
Кроме точных алгоритмов (находящих искомый оптимум за полиномиальное время), рассматриваются приближённые методы решения задач, для которых быстрое нахождение точного решения, по‑видимому, невозможно. В этом помогут линейные релаксации: они позволяют эффективно строить приближённые решения с гарантированной погрешностью.
На семинарах разбираются методы решения комбинаторных (как правило, NP‑трудных) задач на практике: метод ветвей и границ, метод локального поиска, а также методы решения с использованием солверов для линейных программ. От слушателей ожидаются базовые знания линейной алгебры и знакомство с основными терминами теории графов. Также будет полезна алгоритмическая подготовка на уровне базового курса по алгоритмам и структурам данных
Программа:
- Комбинаторные препятствия и минимаксные формулы
- Полиэдры, их вершины и грани
- Линейные и целочисленные программы
- Сильная и слабая линейная двойственность
- Тотальная унимодулярность
- Лемма Фаркаша. Теорема о сильной двойственности
- Primal-Dual-алгоритм для задачи о кратчайших путях
- Primal-Dual-алгоритм поиска совершенного паросочетания минимальной стоимости в двудольном графе
- Минимаксная формула Татта — Бержа, алгоритм Эдмондса поиска максимального по мощности паросочетания
- Primal-Dual для задачи о паросочетании минимальной стоимости в произвольных графах
- TDI-системы. Политопы цепей и антицепей
- Матроиды, целочисленность полиэдра матроида, жадный алгоритм оптимизации
- Полиэдр пересечения матроидов и его целочисленность
- Полиномиальный комбинаторный алгоритм пересечения матроидов
Курс посвящён изучению работы компьютерных сетей и возможных проблем при их эксплуатации: принципов работы сети на уровне машины, дата‑центра и интернета, способов обеспечения отказоустойчивости и надёжности канала сети, а также использования утилит для диагностики сетевых проблем
Программа:
- Введение в курс: OSI и TCP/IP-модель, физический уровень
- http, http2(grpc), quick; L4: tcp и udp
- Абстракция сети, введение в роутинг, статическая маршрутизация
- Обзор протоколов динамической маршрутизации и введение в BGP
- Архитектуры IP и AI-фабрик в ЦОД. Использование BGP в ЦОД
- Служебные протоколы DHCP, ARP/ND, LLDP. Инструменты отладки
- Маршрутизация на практике
- GoBGP
- Телеметрия сети
- Введение в криптографию
- TLS
- QUIC, ssh
- IPsec, WireGuard, openVPN
- WiFi encryption
- Виртуальная сеть. Сеть Kubernetes
Курс посвящён изучению конкретной математики. В курсе будут обсуждаться:
- — асимптотики: оценки комбинаторных величин, связь сумм с интегралами, самоуточняющиеся оценки
- — производящие функции: обычные и экспоненциальные производящие функции, комбинаторные последовательности (числа Каталана, Стирлинга, Бернулли, разбиения)
- — способы решения рекуррентных соотношений
- — приложения теории вероятностей
Программа:
- Элементарный асимптотический анализ
- Оценки и асимптотики для комбинаторных величин (суммы, биномиальные коэффициенты, связь сумм с интегралами)
- Рекуррентные соотношения, решение рекуррентных соотношений с помощью характеристических уравнений
- Производящие функции. Их применение для решения рекуррентных соотношений и доказательства комбинаторных тождеств
- Разбиения чисел на слагаемые. Диаграммы Юнга. Производящие функции разбиений
- Экспоненциальные производящие функции. Числа Каталана, Стирлинга и Белла
- Числа и многочлены Бернулли. Формула суммирования Эйлера — Маклорена
- Применение теории вероятностей в комбинаторике и теории чисел
- Неравенства Маркова, Чебышёва и Чернова и их приложения
- Приложение предельных теорем теории вероятностей
Курс — вторая часть годового курса. В первой части («Машинное обучение, часть 1») рассмотрены задачи и современные подходы машинного обучения, начато знакомство с методами глубокого обучения и нейросетями.
Во второй части углубляются темы Deep Learning: трансформеры, генеративные модели, обучение с подкреплением, интерпретация, инструменты разработки, расширяется спектр доменов (графы, временные ряды). Курс завершается практико‑ориентированным соревнованием
Программа:
- Deep Learning Tips and Tricks: что делать с обученной моделью, перенос знаний, практические трюки
- Attention & Transformers: attention, self-attention, transformer-блок, практические аспекты обучения/тюнинга
- Interpretation: диагностика, интерпретируемость, разбор внутренних представлений
- Инструменты разработки: практики разработки ML-проектов, воспроизводимость, пайплайны, мониторинг
- Generative models, часть 1: VAE, GAN и практические нюансы
- Generative models, часть 2: NF, Diffusion
- Общий подход к решению DL-задач: путь задача → данные → бейзлайн → улучшения → валидация, элементы ML System Design
- Reinforcement Learning: базовые понятия RL, постановки задач, основные алгоритмы (вводный уровень)
- Graph ML: базовые постановки и методы (вводный уровень)
- Временные ряды, часть 1: постановки, бейзлайны, особенности валидации, классические подходы
- Временные ряды, часть 2: нейросетевые подходы
Курс посвящён основам прикладной статистики и включает такие темы, как:
- — корреляционный анализ
- — дисперсионный анализ
- — регрессионный анализ
- — анализ временных рядов
- — методы понижения размерности
- — множественная проверка гипотез
- — обнаружение выбросов
- — критерии согласия и однородности
Программа:
- Введение: оценивание и моделирование
- Введение: проверка гипотез
- Критерии согласия и проверка нормальности
- Множественная проверка гипотез. Обнаружение аномалий
- Корреляционный анализ
- Одно- и двухвыборочные критерии
- Дисперсионный анализ
- Регрессионный анализ
- Ядерные оценки плотности и непараметрическая регрессия
- Методы понижения размерности
- Анализ временных рядов
В курсе анализируются подходы, применяемые в мультимодальных моделях. Сначала рассматривается высокоуровневая классификация, основанная на методах смешивания модальностей входных данных. Подробно разбираются ключевые подходы и фундаментальные архитектуры: Flamingo, LLaVA, Qwen‑VL, способствующие пониманию более сложных модальностей. Затем изучаются модели для обработки видео, звука, модальности action и 3D‑понимания (LLaVA‑3D, SpatialRGPT). Особое внимание уделяется интеграции генерации данных в мультимодальные LLM
Программа:
- Введение и модальность изображений. Классификация vision-language-моделей: Deep Fusion
- Модальность видео. Early Fusion. VideoLaVIT
- Интеграция генерации данных в мультимодальные LLM. Visual autoregression via next-scale prediction
- Модальность action (UI и роботы). Vision-language-модели как агенты для роботов
- Модели 3D-понимания, синтез обучающих данных для 3D-распознавания
- Модальность звука
Курс могут сдавать только магистранты программ «Современные компьютерные науки» НИУ ВШЭ и «Анализ данных» МФТИ, записаться слушателем — любой студент. В роли слушателя можно расширить научный кругозор и тренировать внимательность, знакомясь с интересными и свежими работами в области data science. В роли докладчика — глубоко разобраться в научной статье и прокачать навыки публичных выступлений, готовя и проводя презентацию для опытной аудитории. Участие в семинаре даёт возможность профессионально расти
Темы курса зависят от выбранных для разбора студентами статей
Курс посвящён методам обучения с подкреплением (Reinforcement Learning, RL) — подходу машинного обучения, позволяющему создавать программы, способные самостоятельно принимать решения для достижения оптимальных результатов.
В рамках курса изучаются основные принципы RL: взаимодействие агента с окружающей средой, формирование стратегии на основе вознаграждений и методы оптимизации политики. Особое внимание уделяется практическому применению RL для решения задач.
Обучение агентов оптимальному поведению в окружении происходит через взаимодействие с ним путём проб и ошибок — аналогично тому, как учатся люди. Под агентом могут пониматься различные сущности: от игрока в компьютерную игру до сложного робота, от биржевого трейдера до текстового ассистента, помогающего пользователю
Программа:
- Введение в RL
- Gymnasium, Cross-Entropy Method
- Динамическое программирование
- Model-free reinforcement learning
- Deep Reinforcement Learning
- Deep Q-Networks
- Policy gradient methods
- Proximal Policy Optimization
- Reinforcement Learning
- Q-learning
- Model-Based R
- Alignment
В рамках курса рассматривается C++ — мощный язык с богатым наследием. Курс посвящён современному подмножеству языка — Modern C++ (стандарты 11, 14, 17, 20). Особое внимание уделяется инструментам и библиотекам, не входящим в состав языка, но необходимым для создания крупных и сложных проектов
Программа:
- Метапрограммирование на шаблонах (compile-time-вычиселния, SFINAE, concepts, CRTP)
- Многопоточность и инструменты синхронизации
- Корутины
- Сетевое программирование
- Функциональное программирование
- Аллокаторы
- Паттерны проектирования
- Профилирование кода
Математическая статистика — раздел математики, занимающийся описанием и анализом данных для построения вероятностных моделей явлений, породивших эти данные. Промежуточное положение между реальными наблюдениями и абстрактными вероятностными моделями делает её основным инструментом решения прикладных задач, в которых неопределённость интерпретируется как случайность.
Цель курса — научить мыслить о задачах анализа данных в терминах моделей, генерирующих данные, похожие на реальные. В рамках курса рассматриваются виды вероятностных моделей, способы проверки их качества, методы получения ответов на прикладные вопросы с их помощью, а также определение границ их применимости.
Практические занятия проводятся на Python с использованием Jupyter Notebook и модулей numpy, scipy, pandas, matplotlib. Практические задания и домашние работы размещаются в курсе на платформе Stepik
Программа
- Вероятностные распределения в реальной жизни. Смеси. Иерархические модели
- Оценка характеристик известной модели. Метод Монте-Карло
- Байесовский подход
- Частотный подход. Точечные и интервальные оценки. Асимптотическая нормальность. Дельта-метод. Бутстрап
- Параметрические модели. Метод максимального правдоподобия. Интервалы для параметрических моделей
- М-оценки. Эффективность. Робастность
- Проверка гипотез
Курс посвящён изучению алгоритмов рекомендательных систем, которые помогают пользователям находить релевантный контент в условиях информационного изобилия. В рамках курса рассматриваются как классические методы (матричные факторизации, ранжирование), так и современные нейросетевые подходы, а также способы их практического применения и запуска в продакшн. Кроме того, представлены реальные кейсы использования рекомендательных систем в сервисах Яндекса и других компаний и кратко освещена инфраструктура вокруг этих систем
Программа
- Введение в рекомендательные системы
- Кандидатогенерация, метрики качества
- Ранжирование, метрики качества
- Хранение и обработка данных
- Нейросетевое ранжирование
- Нейросетевая кандидатогенерация
- Дизайн высоконагруженных рекомендательных систем
- Рекомендательные трансформеры на практике
- RL в рекомендациях
- Case studies из индустрии
- Тренды в RecSys
Курс предназначен для изучения речевых технологий. В мире, где голосовые ассистенты становятся всё более привычной частью повседневной жизни, голосовой ввод присутствует в большинстве приложений, а алгоритмы шумоподавления активно используются во время звонков. Появляются всё более современные решения для параллельного перевода и генерации речи. В курсе рассматриваются компоненты этих технологий и принципы их работы.
Авторы курса — сотрудники Яндекса, разрабатывающие речевые приложения. О каждой технологии рассказывает специалист, работающий с ней. Курс ориентирован на практические навыки, необходимые для работы, и проводится людьми с реальным опытом внедрения технологий в продукты.
Программа курса охватывает темы, связанные с обработкой звука и естественной речью: биометрию, распознавание, синтез, шумоподавление
Программа:
- DSP (Digital Signal Processing). Лекция про математику, которая понадобится при обработке звука. Что такое звук, как он оцифровывается и как его лучше представить с точки зрения использования в различных алгоритмах. Практический семинар
- VAD_SED. Введение про нейронки для классификации звука, задачи Voice Activity Detection(VAD) и Sound Event Detection
- KWS_BIO. Задачи голосовой активации и биометрии
- ASR-1. Задача распознования речи на аудиозаписи. Основные подходы, метрики, архитектуры и особенности ASR
- ASR-2. Подходы к предобучению моделей для задачи ASR. Методы сбора unsupervised-данных и pretraining-а: от self-supervised обучения до wav2vec и best-rq
- Inference. Лекция и семинар о том, как эффективно инферить ASR-модели
- Intro to TTS. Как в общих чертах устроен пайплайн TTS (text-to-speech) и как оценивать его качество. Нормализация и фонемизация текста
- Acoustic models. Модели, которые по тексту генерят спектрограмму, о том, какие проблемы возникают при их обучении. Как переводить спектрограмму в waveform-y
- Codec models. Модели, которые выучивают сжатое представление аудио в unsupervised-режиме
- Codec based TTS. Популярные подходы к обучению моделей синтеза на больших данных
- Multimodal ASR and TTS. Как сочетать ASR- и TTS-модели с большими текстовыми LLM-ками
- VQE-1. Как делать шумоподавление, source separation и решать другие задачи улучшения качества голоса с помощью нейронных сетей
- VQE-2. Задачи улучшения качества голоса и комбинирование машинного обучения с классическими методами
Курс охватывает основные понятия и методы статистического анализа данных: параметрические и непараметрические модели, интервальное оценивание, проверку статистических гипотез, основы регрессионного и корреляционного анализа, вопросы анализа причинности и непараметрического сглаживания.
Анализ данных с временно́й зависимостью представлен в рамках теории случайных процессов и моделей временных рядов (включая авторегрессионные модели и модели скользящих средних).
Особое внимание уделяется постановке статистических задач, интерпретации результатов и ограничениям применяемых методов
Программа:
- Введение в статистику как науку об извлечении знаний из данных. Определение точечных оценок, их основные свойства: несмещённость, состоятельность, эффективность. Теорема Рао — Крамера. Обсуждение примеров классических оценок: среднее, дисперсия, доля. Решение задач на вычисление и сравнение свойств оценок. Анализ смещённости и дисперсии в простых распределениях. Сравнение разных оценок одного параметра
- Эмпирическая функция распределения (ECDF) и её сходимость к истинной CDF. Принципы бутстрапа: повторная выборка, оценка разброса оценок, построение доверительных интервалов без предположения о распределении. Реализация ECDF и бутстрапа в Python/R. Оценка среднего, медианы и других функционалов с помощью бутстрапа. Визуализация
- Параметрические методы оценки. Метод моментов: идея сопоставления эмпирических и теоретических моментов. Метод максимального правдоподобия: логарифмическая функция правдоподобия, условия регулярности, асимптотические свойства. Решение задач на построение MLE и оценок методом моментов для нормального, экспоненциального, биномиального распределений. Сравнение методов по точности и сложности
- Дельта-метод — приближённое распределение функции от оценки. Построение асимптотических доверительных интервалов. Повторение бутстрапа с упором на оценку дисперсии. EM-алгоритм: интуиция, шаги E и M, сходимость. Примеры применения дельта-метода (логарифм оценки, отношение параметров). Реализация одного шага EM-алгоритма на простых моделях (например, смесь нормальных распределений)
- Основы проверки гипотез. Нулевая и альтернативная гипотезы, ошибки первого и второго рода, уровень значимости, p-value. Классические тесты: Z-тест, t-тест, тест для долей. Построение и интерпретация p-value. Сравнение результатов тестов при различных выборках. Интерпретация ошибок и практические последствия
- Проверка сложных гипотез, критерий отношения правдоподобия (LRT). Связь с MLE. Множественные проверки: необходимость коррекции, методы (Bonferroni, FDR). Применение LRT на конкретных моделях. Разбор задач с множественными проверками: контроль семейной ошибки, визуализация p-value
- Основы байесовского подхода. Апостериорное распределение как обновление знания. Выбор априорных распределений. Сопряжённые семейства. Байесовские оценки и интервал доверия. Работа с биномиальной моделью и сопряжённым априорным бета-распределением. Вычисление апостериорных вероятностей вручную и с помощью кода
- Линейная регрессия: модель, предположения, МНК-оценка, интерпретация коэффициентов. Логистическая регрессия: моделирование вероятностей, MLE, логит-функция. Построение и интерпретация моделей на примерах. Работа с мультиколлинеарностью, построение доверительных интервалов для коэффициентов
- Зависимость и независимость случайных величин. Проверка независимости: таблицы сопряжённости, критерий хи-квадрат, точный тест Фишера. Понятие условной независимости. Построение таблиц сопряжённости. Расчёт критериев на примерах. Интерпретация результатов
- Причинно-следственные связи в данных. Потенциальные результаты, рандомизированные эксперименты, роль конфаундеров. Регрессионные и инструментальные переменные. Примеры ошибок интерпретации корреляции как причинности. Моделирование вмешательств (interventions), простые модели причинного анализа
- Непараметрические методы оценки плотности и регрессии. Ядерные методы: выбор ядра, ширины окна. Плюсы и минусы по сравнению с параметрическими подходами. Реализация ядерных оценок на практике. Визуализация плотностей. Анализ влияния параметров сглаживания. Сравнение с гистограммами
- Методы выбора модели: AIC, BIC, кросс-валидация. Переобучение и сложность модели. Регуляризация: Lasso, Ridge, их интерпретация как байесовских оценок. Применение критериев AIC/BIC на практике. Кросс-валидация и подбор гиперпараметров. Сравнение моделей линейной регрессии с регуляризацией и без
- Случайные процессы: общая теория. Понятие случайного процесса. Конечномерные распределения. Моментные и корреляционные функции. Непрерывность и дифференцируемость. Стационарность и эргодичность. Случайные процессы. Марковские процессы. Предельные вероятности состояний. Метод статистических испытаний
- Структурированные случайные процессы. Пуассоновские процессы. Гауссовские процессы. Марковские процессы. Уравнения Колмогорова. Броуновское движение. Стационарные временные ряды. Автокорреляционная функция. Аналитическое выравнивание временного ряда
- Анализ временных рядов. Временные ряды как процессы. Авторегрессионные и MA-модели. Стационарность и устойчивость. Оценивание и диагностика. ACF и PACF. Временные ряды и прогнозирование. Автокорреляционная модель
- Современные методы для временных рядов. Нестационарность. ARIMA-модели. Модели пространства состояний. Фильтрация и прогнозирование. Современные расширения. Итоговая сессия вопросов и ответов. Разбор межтемовых задач
Курс посвящён одному из самых актуальных направлений современного машинного обучения — методам, лежащим в основе генеративного ИИ. В программе — теория и практика: от базовых идей и классических методов (смеси Гауссовых распределений, вариационные автокодировщики, нормализационные потоки) к ключевым подходам современного генеративного ИИ (YandexART, YandexGPT, ChatGPT, Midjourney, Kandinsky и др.): диффузионным моделям, flow matching, GAN и авторегрессионным моделям. Рассматриваются принципы работы, внутреннее устройство и ограничения методов. Студенты получат прочную математическую основу, научатся читать и понимать современные статьи, закрепят знания на практике
Программа:
- Gaussian Mixture Model (GMM)
- Variational Autoencoder (VAE)
- Energy-Based Models (EBMs)
- Normalizing Flows
- Diffusion models (ELBO)
- Generative Adversarial Networks (GANs)
- Wasserstein GAN
- GANs for domain translation problems (Pix2Pix, CycleGAN)
- Generative Moment Matching Networks (GMMNs)
- Generative models for discrete data
- Score-based models
- Diffusion models (SDE)
- Flow Matching (FM)
- Bridge Matching for Domain Translation
Курс знакомит слушателей с функциональными языками программирования и техниками написания программ на этих языках. Рассматриваются отличия функционального подхода к программированию от традиционного императивного, сравниваются их сильные и слабые стороны.
Курс разделён на теоретическую и практическую части. В теоретической части слушатели знакомятся с синтаксисом и семантикой лямбда-исчисления в бестиповом и просто типизированном вариантах. Обсуждается устройство систем типов функциональных языков, в том числе алгоритм вывода типов Хиндли — Милнера.
Практическая часть курса ориентирована на изучение языка программирования Haskell. Студенты знакомятся с ленивой и энергичной версиями операционной семантики, алгебраическими типами данных и их использованием для реализации механизма сопоставления с образцом. При изучении системы типов языка Haskell будут обсуждаться параметрический и специальный полиморфизм и, в частности, механизм классов типов, в том числе многопараметрических.
Подробно рассматриваются основные классы типов из стандартной библиотеки Haskell, в том числе полугруппы и моноиды с одной стороны, и функторы, аппликативные функторы и монады с другой. Также обсуждаются различные стратегии свёртки и обхода списков, деревьев и обобщение этих стратегий в классах типов Foldable и Traversable.
Слушатели приобретут навык программирования с использованием стандартных монад: будут рассмотрены проблемы ввода-вывода в чистых языках и их решение с помощью монады IO, а также работа с изменяемым состоянием с помощью монады State и родственных ей монад. Изучение трансформеров монад познакомит студентов с решением проблемы композиции монадических эффектов
Программа:
- λ-исчисление. Функциональная модель вычислений. Чистое λ-исчисление. Подстановка и редукция
- Рекурсия и редукция. Теорема о неподвижной точке. Нормальная форма. Теорема Чёрча — Россера и её следствия. Cтратегии редукции и нормализация
- Просто типизированное λ-исчисление. Понятие типа. Просто типизированное λ-исчисление, системы Чёрча и Карри. Свойства просто типизированных систем
- Введение в Haskell. Язык Haskell. Основы программирования. Базовые типы
- Операторы, форсирование, списки. Операторы и их сечения. Ленивость и строгость, форсирование вычислений. Стандартные списки и работа с ними
- Типы данных. Алгебраические типы данных и сопоставление с образцом. Полиморфные и рекурсивные типы. Метки полей и записи
- Классы типов. Стандартные классы типов. Внутренняя реализация классов типов
- Свёртки и развертки. Свёртки списков. Развёртки и оптимизации. Полугруппы и моноиды. Класс типов Foldable
- Аппликативные функторы. Функторы. Класс типов Pointed. Аппликативные функторы
- Использование аппликативных функторов. Аппликативные парсеры. Класс типов Alternative. Класс типов Traversable
- Монады. Класс типов Monad. Монада Maybe. Законы монад. Монада Identity. Класс типов MonadFail. Список как монада
- Использование монад. Монада Except: обработка исключений. Монада Writer: запись в лог. Монада Reader: чтение из окружения. Монада State: изменяемое состояние. Монада IO: ввод-вывод
- Трансформеры монад. Мультипараметрические классы типов. Трансформеры монад. Пример реализации: трансформер MaybeT
- Вывод типов. Главный тип. Подстановка типа и унификация. Теорема Хиндли — Милнера. Let-полиморфизм и типы высших рангов
Курс посвящён вычислительной эффективности в современном машинном обучении, особенно в контексте больших языковых моделей (LLM). В нём рассматриваются методы оптимизации, учитывающие особенности аппаратного обеспечения: программирование GPU-кернелов, квантизация, прунинг, компиляция моделей, а также автоматизированный подбор архитектур и гиперпараметров. Студенты получают практические навыки через профилирование, низкоуровневое программирование (Triton) и реализацию итогового проекта
Программа:
- Вычислительная эффективность и scaling laws
- Профилирование моделей с помощью PyTorch Profiler
- Автоматическое машинное обучение (AutoML)
- Поиск архитектур нейросетей (NAS), включая дифференцируемый поиск
- Обзор высокоуровневых (vLLM, SGLang, Ollama) и низкоуровневых (CUTLASS, CuTile) библиотек
- Архитектура CPU/GPU, иерархия памяти, арифметика GPU
- Введение в Triton и написание собственных кернелов
- PyTorch 2.0: JIT-трассировка, torch.compile, конвертация в ONNX
- Прунинг моделей: структурированный/неструктурированный, итеративный, по магнитуде
- Основы квантизации: методы (LSQ), низкоточные типы данных
- Специфика сжатия LLM
- Оптимизация инференса LLM: KV-Cache, PagedAttention, Gradient Checkpointing
- Методы поиска и оптимизации GPU-кернелов
Курс предназначен для изучения эффективных систем глубинного обучения. За последние несколько лет глубинное обучение надёжно закрепилось как инструмент для решения массы практических задач, в которых важны как быстрое время итерации эксперимента, так и высокая производительность моделей на этапе применения. Deep Learning — активно растущая область, однако уже сейчас неосторожно поставленные эксперименты могут длиться неделями, нагружая серверы с сильно пониженной эффективностью.
Большее понимание устройства фреймворков, их взаимодействия с аппаратной частью компьютера, а также знание актуальных подходов к оптимизации работы с нейросетями и организации работы с ML‑моделями в целом позволяют рациональнее использовать имеющиеся ресурсы и быстрее получать результаты, порой почти без изменения кода.
В отличие от большинства курсов по глубинному обучению, акцент сделан не на повторении сведений о рекуррентных сетях и дропауте, а на практических аспектах обучения и применения нейросетей, которые обычно оставляют за рамками образовательных программ.
Курс охватывает следующие темы:
- — устройство распределённого обучения на нескольких видеокартах или серверах;
- — методы обучения модели, не помещающейся в память одной видеокарты;
- — развёртывание модели в облаке для коллективного использования;
- — оптимизация обученной модели для быстрой обработки запросов без суперкомпьютера;
- — поиск узких мест в коде обучения и инференса, ключевые аспекты в NLP‑ и CV‑задачах;
- — организация экспериментов по обучению нейросетей с максимальной воспроизводимостью и версионируемостью всех этапов, их тестирование наряду с обычным кодом.
На семинарах демонстрируется использование популярных библиотек и инструментов для эффективного DL. Домашние задания позволяют освоить оптимизацию различных компонентов обучения и преобразование готовой модели в несложный сервис
Программа:
- Intro+ Pytorch internals, benchmarking & GPU architecture basics
- Fast pipelines & profiling Profiling, optimized data loading etc.
- Distributed training intro + data-parallel Intro to PyTorch Distributed
- Training large models Tensor/sequence/pipeline parallelism in native PyTorch
- FSDP and friends, data-parallel optimizations Intro to DeviceMesh, sharding internals
- Deep learning arithmetics Emulation of training optimizations
- Deployment basics
- Inference: software side Triton overview
- Inference: algorithmic side (e.g. compression) Speculative decoding/quantization
Курс знакомит с основами языка Go и учит применять их на практике. Go похож на C — небольшой, со схожим синтаксисом и статической типизацией, но заимствует идеи из других языков, избегая усложняющих элементов. В курсе рассматриваются: стандартная библиотека, инструменты языка (профайлер, race‑детектор, пакетный менеджер и т. д.) и concurrency. Упор — на практическое применение и решение задач
Программа:
- Введение. Философия дизайна
- Базовые конструкции языка
- Методы
- Горутины и каналы
- Продвинутое тестирование
- Concurrency with shared memory
- Package context
- Работа с базами данных
- Reflection
- Ввод-вывод
- Архитектура GC
- Go tooling
- Полезные библиотеки
Курс посвящён соединению фундаментальных основ робототехники (кинематика, динамика, управление, восприятие, планирование) с современным ИИ (imitation learning, RL, foundation models/VLA) и инженерной реальностью (симуляция, ROS2, датасеты/бенчмарки, ограничения железа).
Ключевые этапы:
- Базовые математические и инженерные основы (кинематика, динамика, контроль, симулятор)
- Perception и мобильные роботы
- Современная манипуляция и embodied foundation models.
- Командные проекты — с доступом к реальному железу или high‑fidelity-симуляции
Программа:
- Intro + Kinematics
- Dynamics + Simulation 1 (Manipulator)
- Classical Control + Motion Planning
- Mobile Robots + Localization + SLAM 1
- Perception + SLAM 2
- Simulation 2 + Sim2Real
- Locomotion (Legged Robots)
- Robotics Software: ROS2
- Robotics Data + Benchmarks
- Modern Manipulation 1
- Modern Image/3D + SLAM 3
- VLA (Vision-Language-Action) + Modern Manipulation 2
Курс охватывает ключевые аспекты многопоточного программирования и работы с конкурентными структурами данных: механизмы переключения контекста, планирование потоков и файберов, когерентность кешей и модели памяти.
Студенты изучат:
- — техники синхронизации;
- — управление памятью в многопоточных структурах данных;
- — конкурентные аллокаторы и сборку мусора;
- — основы изоляции транзакций в базах данных.
Программа включает теоретические основы и практические примеры работы concurrency в современных системах
Программа:
Часть 1. Модель разделяемой памяти:
- Модель разделяемой памяти. Когерентность кешей и стоимость блокировок. Операционный и аксиоматический подходы к моделям памяти. Sequential Consistency для DRF-программ
- Дизайн структур данных на мелкогранулярных блокировках: хэш-таблицы (chaining, cuckoo), списки и skip list. Пессимистичные и оптимистичные блокировки
- Неблокирующая синхронизация и гарантии прогресса wait-freedom и lock-freedom. Дизайн lock-free-структур данных: стэк, очередь, хэш-таблица. Управление памятью в lock-free-структурах данных. Бонус: MultiCAS или lfalloc
- Транзакции и сериализуемость
- Алгоритмы
5.1. 2PL, conflict serializability, SG
5.2. Snapshot Isolation и аномалии
5.3. Serializable SI. Hardware Transactional Memory, реализация HTM поверх протокола когерентности
Часть 2. Модель передачи сообщений:
- Модель передачи сообщений, время и виды часов (кварцевые, атомные), невозможность синхронизации часов, синхронизация часов в GPS, TrueTime
- Линеаризуемость на примере репликации регистра. Временные метки и кворумы
- Репликация через Atomic Broadcast, линеаризуемость. Эквивалентность Atomic Broadcast и Consensus
- Невозможность консенсуса: n>2fn>2fn>2f и FLP. Результаты для модели разделяемой памяти
- Single Decree Paxos, State Machine Replication и MultiPaxos
- Формальные методы, model checking, темпоральная логика, TLA+ и PlusCal, разбор специификаций для Paxos, Snapshot Isolation, Ticket Lock
The cornerstone problem of supervised learning is generalization: why does a model trained on a finite subset perform reasonable on a full data distribution? Classical generalization bounds fail to answer this question as they rely on various concepts of model class complexity which is typically way too large for neural nets. In fact, within neural nets, poorly performing models do exist but are rarely found by gradient descent. This raises the question of implicit bias of a learning algorithm. This bias is difficult characterize due to high complexity of the learning dynamics, but partial answers are known in the following two orthogonal scenarios. The first is linear nets, i.e. networks with no activation functions. The second is NTK limit, in which the network becomes equivalent to a kernel method. This equivalence appears as the model width (i.e. the number of neurons in each hidden layer) grows infinitely under specific, non-standard, parameterization. Other parameterizations lead to different infinite-width limits. The infinite-width behavior of a wide class of neural networks could be covered within a concept of Tensor Programs. In the present course, we cover classical uniform, as well as more modern PAC-Bayesian, generalization bounds, we study the implicit bias of gradient descent for linear networks, and discuss various scenarios of infinite-width behavior of neural nets. If there is time left, we also discuss several aspects of loss landscape; in particular, we prove absence of non-global minima in some scenarios
Программа:
- Course overview. Challenges to DL theory
- Uniform generalization bounds and why they fail
- PAC-Bayesian bounds
- Implicit bias of gradient flow and minimal norm interpolators for linear nets and beyond
- Infinitely-wide networks. Neural Tangent Kernel. Tensor Programs and their Master Theorem. mu-P and mean-field limits Feature learning
- Loss landscape. Absence of non-global minima for (a) linear nets, (b) wide nonlinear nets
Курс посвящён беспилотным автомобилям — одному из главных технологических вызовов последних десятилетий. В нём рассматриваются основные компоненты беспилотного автомобиля, задачи их создания и методы решения этих задач. На первой лекции представлен обзор текущего состояния индустрии беспилотных автомобилей, её крупных участников и достигнутых ими результатов в разработке беспилотников
Программа:
- Area overview
- Basic localization
- Lidar-based Localization and HD maps
- Perception 1
- Perception 2
- Prediction
- Motion Planning & Control
- ML for Motion Planning
- Simulator 1 (internal representation simulation)
- Simulator 2 (sensors simulation)