Курсы ШАДа
В течение семестра каждый учащийся должен успешно пройти как минимум три курса. Например, если в основной программе их два, то необходимо выбрать какой-нибудь из спецкурсов.
В данном курсе будет дан обзор текущего состояния в области вычислений с учётом иерархической структуры памяти. Мы рассмотрим базовые примитивы и структуры данных, поговорим о некоторых стандартных приёмах и подзадачах. Подробно будут рассмотрены алгоритмы на графах во внешней памяти. Будет затронута тема кеширования и cache-oblivious алгоритмов.
Также мы рассмотрим модель streaming-вычислений, в которой данные на вход поступают итеративно и их количество таково, что сохранить их в оперативной памяти или на диске не представляется возможным.
Программа:
- Модель вычислений во внешней памяти.
- Сортировка во внешней памяти.
- Архитектура компьютера в разрезе RAM и дисков, устройства API записи/чтения в OS, кэши
операционной системы.
- Задача List Ranking.
- Техника Time Forward Processing.
- Структуры данных для задач на подотрезках и на деревьях.
- Куча во внешней памяти.
- Буфферизированные деревья.
- Хэш-таблицы во внешней памяти.
- Геометрические задачи во внешней памяти.
- DFS/BFS во внешней памяти.
- Поиск связных компонент во внешней памяти.
- Техника Parallel Sliding Window.
- Архитектура кеша, понятие cache-aware и cache-oblivious алгоритмов.
- Cache-oblivious бинарный поиск.
- Van Emde Boas layout.
- Cache Oblivious Lookahead Array.
- QuickHeap.
- Модель streaming-алгоритмов.
- Алгоритмы Misra-Gries и Count-Min Sketch.
- BJKST-скетч.
- Построение нижних оценок сложноси на streaming-алгортмы.
- Q-digest.
- Резервуарное сэмплирование на потоке и на окне в потоке.
- Locality-sensitive hashing.
Курс даёт базовые знания в области алгоритмов и структур данных. Они очень важны для понимания работы библиотек, алгоритмов и языков программирования. Курс состоит из трёх частей.
На лекциях студенты получают необходимую теоретическую базу. На семинарских занятиях будут разбираться задачи, которые показывают применения и скрытые возможности пройденных структур данных.
Домашние задания по курсу закрепляют полученные знания и воспитывают хороший стиль написания кода, который позволяет избежать стандартных, но от этого ничуть не менее распространённых даже у опытных разработчиков, ошибок.
Программа:
- Сложность и модели вычислений.
- Анализ учётных стоимостей.
- Алгоритмы Merge-Sort и Quick-Sort.
- Порядковые статистики.
- Хеширование.
- Деревья поиска.
- Система непересекающихся множеств.
- Задачи RMQ и LCA.
- Структуры данных для геометрического поиска.
- Задача о динамической связности в ненаправленном графе.
При разработке высоконагруженных систем невозможно не обращать внимание на то, в каком окружении работает код. В компаниях типа Яндекса это, как правило, многочисленные серверы с несколькими многоядерными x86 процессорами под операционной системой Linux. Знание того, как работает процессор и операционная система, позволяет понять некоторые особенности работы реального кода.
В курсе будет разобрана работа ядра миниатюрной UNIX-подобной операционной системы — xv6. Начнём с того как работает процессор и язык ассемблера, далее разберём управление процессами, памятью, работу в мультипроцессорной среде.
Программа:
- UNIX и программирование на языке С: командная строка, управление процессами, каналы, сигналы. Реализация оболочки командной строки.
- Ассемблер x86: арифметика, переходы, условия и вызовы функций. Стек, перемещение вверх по стеку.
- Линковка программ и формат ELF. Динамическая линковка.
- Понятие контекста и потока исполнения. Реализация легковесных потоков.
- Вытесняющая многозадачность: поддержка со стороны процессора x86 и реализация процессов в ядре UNIX.
- Многоядерная архитектура: когерентность кешей и модели памяти. Примитивы синхронизации в многопоточных программах.
- Планирование процессов на одном ядре и на многих ядрах.
- Внешняя память: жёсткие диски и твердотельные накопители. Принципы работы файловых систем.
- Виртуализация: аппаратная и программная. Двоичная трансляция.
Изучение дисциплины «Байесовские методы машинного обучения» нацелено на освоение т.н. байесовского подхода к теории вероятностей как одного из последовательных способов математических рассуждений в условиях неопределённости.
В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределённости. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Программа:
- Байесовский подход к теории вероятностей, примеры байесовских рассуждений.
- Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений.
- Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели.
- Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления.
- Метод релевантных векторов для задачи классификации, приближение Лапласа.
- Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент.
- Вариационный подход для приближённого байесовского вывода.
- Методы Монте-Карло с марковскими цепями (MCMC).
- Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. Динамика Ланжевена для сэмплирования и оптимизации.
- Модель LDA для тематического моделирования.
- Гауссовские процессы для регрессии и классификации.
Курс "рассчитан на тех, кто не учился лингвистике, но хочет узнать о разнообразии и устройстве языков мира и о том, что в них доступно для автоматической обработки, а что нет. В рамках курса предусматривается решение различных лингвистических задач (самодостаточных и не только).
Программа:
- Истоки и задачи лингвистики.
- Язык как система. Происхождение языка. Генетическая классификация языков.
- Языки и диалекты.
- Обзор языков мира.
- Грамматическое и лексическое значение.
- Фонетика и фонология.
- Морфемика. Словоизменение и словообразование.
- Морфология. Грамматические средства языка. Типологическая классификация языков.
- Историческая морфология: опрощение, переразложение, гиперкоррекция, усечение, удлинение.
- Согласование. Синтаксис.
- Язык и мышление. Гипотеза лингвистической относительности. Наивная и научная картина мира.
- Значение слова. Аналитические толкования. Метаязык. Многозначные слова.
- Словари: история и современность.
Классический курс функционального анализа, включающий общую теорию метрических и нормированных пространств и теорию операторов в нормированных пространствах. Будут затронуты аспекты спектральной теории операторов и преобразования Фурье, а также приложения функционального анализа к анализу данных, машинному обучению и т. п. В частности будет показано, что одно из важных понятий в машинном обучении, ядро, естественным образом возникает в теории гильбертовых пространств с воспроизводящим ядром.
Программа:
- Метрические и нормированные пространства.
- Свойства полных метрических пространств: теорема о сжимающих отображениях, теорема о вложенных шарах.
- Гильбертовы пространства.
- Введение в теорию меры и интеграл Лебега.
- Пространства Соболева.
- Базисы в нормированных пространствах. Ортонормированные базисы в гильбертовых пространствах.
- Линейные ограниченные операторы в нормированных пространствах.
- Линейные непрерывные функционалы. Сопряжённые пространства.
- Сопряжённые операторы, самосопряжённые и нормальные операторы. Ортогональные проекторы.
- Теорема Хана—Банаха для нормированных сепарабельных пространств.
- Введение в спектральную теорию линейных ограниченных операторов в банаховом пространстве.
- Компактные множества в метрических пространствах. Компактные операторы.
- Интегральные операторы. Теорема Гильберта-Шмидта и теория Фредгольма.
- Преобразование Фурье.
Оптимизация является одной из основных рабочих лошадок, используемых в машинном обучении. Структура курса сильно отличается как от обычного курса по оптимизации, так и от стандартных курсов по выпуклому анализу.
Программа:
- Выпуклые множества.
- Выпуклые функции.
- Условия оптимальности и двойственность.
- Введение в методы оптимизации. Иллюстрация на примере градиентного спуска.
- Нижние оценки и оптимальные методы. Быстрый градиентный спуск.
- Проксимальный градиентный спуск.
- Техника сглаживания.
- Метод модифицированной функции Лагранжа. ADMM.
- Метод зеркального спуска.
- Метод штрафных функций. Барьерный метод.
- Метод Ньютона и квазиньютоновские методы.
- Метод внутренней точки.
- Рандомизированные методы оптимизации и их связь с стохастической оптимизацией.
- Онлайн оптимизация и методы онлайн-оптимизации.
- Робастная оптимизация и стохастическая-оптимизация.
Курс посвящён современным нейросетевым методам в компьютерном зрении и в компьютерной графике.
Программа:
- Intro, recap of Neural network basics, optimization, backprop, biological networks.
- Images, linear filtering, convolutional networks, batchnorms, augmentations.
- ConvNet architectures and how to find them, transfer learning.
- Dense prediction: semantic segmentation, superresolution/image synthesis, perceptual losses.
- Non-convolutional architectures: vision transformers, mixers, FFT convolutions.
- Visualizing and understanding deep architectures, adversarial examples.
- Object detection, instance/panoptic segmentation.
- Representation learning: face recognition, verification tasks, self-supervised learning, few-shot learning, image captioning, CLIP.
- Latent models (generative latent optimization, autoencoders, DALL-E, flow models).
- Generative adversarial networks.
- Shape and motion estimation: spatial transformers, optical flow, stereo, monodepth, point cloud generation, implicit and semi-implicit shape representations.
- New view synthesis: multi-plane images, neural radiance fields, mesh-based and point-based representations for NVS, neural renderers.
Курс посвящён методам и алгоритмам компьютерного зрения, используемым для извлечения информации из изображений и видео. Рассматриваются следующие темы: основы обработки изображений (шумоподавление, тональная коррекция, выделение краёв), классификация изображений (основные признаки), поиск изображений по содержанию (сжатие дескрипторов, приближенные методы сравнения дескрипторов), распознавание лиц, сегментация изображений, алгоритмы обработки и анализа видео. Для большинства задач применяются современные нейросетевые модели, свёрточные сети и трансформеры.
В курсе уделяется внимание наиболее современным методам, которые используются в настоящее время при решении практических и исследовательских задач. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек.
Программа:
- Цифровое изображение и тональная коррекция.
- Обработка изображений.
- Совмещение изображений.
- Классификация и поиск по изображениям.
- Свёрточные нейросети для классификации изображений.
- Трансформеры.
- Детекторы объектов.
- Семантическая сегментация.
- Перенос стиля и синтез изображений.
- Обучение представлений без учителя.
Адаптационный курс по математике для поступивших по альтернативному треку.
Программа:
- Системы линейных уравнений и матрицы.
- Определители и спектр, полиномиальное исчисление от матриц.
- Векторные пространства, координаты, ранги.
- Линейные отображения и операторы.
- Билинейные формы и скалярные произведения.
- Операторы в евклидовом пространстве и SVD.
- Пределы и производные.
- Условная оптимизация и интегралы.
- Вероятностное пространство.
- Случайные величины.
- Случайные векторы и независимость.
- Условные математические ожидания и свёртка распределений.
- Характеристические функции. Основная модель математической статистики.
- Элементы математической статистики.
Первая часть годового курса. Она посвящена общей методологии машинного обучения, подходам к обработке данных и оценке моделей, а также классическим моделям машинного обучения: линейным, деревьям, ансамблям и различным типам вероятностных моделей.
Программа:
- Матричные дифференцирования.
- Введение в математическую статистику.
- Задачи машинного обучения. Метрики качества.
- Линейные модели классификации и регрессии.
- Вероятностные модели. Обобщённая линейная модель.
- Введение в полносвязные нейронные сети. Обратное распространение ошибки.
- Решающие деревья.
- Ансамбли алгоритмов. Бэггинг. Случайный лес.
- Градиентный бустинг.
- Метрические методы.
- Генеративные модели классификации.
- Понижение размерности. SVD. TSNE.
С++ — мощный язык с богатым наследием. Тем, кто только ступил на путь освоения этого языка, очень просто заблудиться в изобилии техник и приёмов, созданных за последние 30 лет.
Курс посвящён современному подмножеству языка — Modern C++ (стандарты 11, 14 и 17). Много внимания уделяется инструментам и библиотекам, которые не являются частью языка, но без которых не получится построить большой и сложный проект.
Программа:
- Введение. Функции, переменные, типы. Операторы и выражения. Компиляция, заголовочные файлы. Указатели и ссылки. Параметры и возвращаемые значения функций. Арифметика указателей.
- Структуры и классы. ООП, конструкторы, деструкторы, операторы. Инкапсуляция.
- Шаблоны и STL. Контейнеры, алгоритмы, итераторы. Функторы и лямбды.
- Динамическое управление памятью. Умные указатели. RAII.
- Наследование. Виртуальные функции, абстрактные классы. Исключения.
- Паттерны проектирования.
- Расположение объектов в памяти, выравнивание.
- Отладка, GDB, coredumps.
- Строки. Кодировки и регулярные выражения.
- Move-семантика. rvalue-ссылки, variadic templates, perfect forwarding.
Построение стохастических моделей и их использование на практике невозможно без твёрдых знаний основных математических инструментов, позволяющих работать со случайностью.
Вероятностно-статистический курс стохастики состоит из лекций и семинарских занятий и призван дать изложение основных понятий теории вероятностей и теории случайных процессов, необходимых для последующего курса лекций и семинарских занятий по вероятностно-статистическим методам в теории принятия решений (весенний семестр).
Программа:
- Классическое определение вероятности. Вероятностная модель эксперимента с конечным числом исходов. Классические вероятностные задачи на подсчёт случайных шансов.
- Условные вероятности. Независимость. Условное математическое ожидание.
- Дискретные случайные величины и их характеристики.
- Схема Бернулли. Неравенство Чебышева, следствия. Закон больших чисел Бернулли. Предельные теоремы (локальная, Муавра-Лапласа, Пуассона).
- Случайное блуждание. Вероятности разорения и средняя продолжительность при игре с бросанием монеты. Принцип отражения. Закон арксинуса.
- Мартингалы. Определение. Примеры мартингалов. Определение момента остановки. Тождества Вальда.
- Дискретные марковские цепи. Эргодическая теорема.
- Вероятностная модель эксперимента с бесконечным числом событий. Аксиоматика Колмогорова. Разные виды сходимости случайных величин.
- Слабая сходимость вероятностных мер. Метод характеристических функций в доказательстве предельных теорем.
- Гауссовские, стационарные и марковские случайные процессы, случайные функции с ортогональными и независимыми приращениями. Винеровский процесс.
В рамках курса рассматривается архитектура распределённых систем: общие принципы и популярные распределённые алгоритмы и то, и как они применяются в реальных промышленных продуктах. Разбираются сложности при разработке таких систем, а также вопросы консистентности, масштабируемости и отказоустойчивости.
Программа:
- Модель распределённой системы.
- Время и високосные секунды.
- Репликация и линеаризуемость. Линеаризуемый регистр, алгоритм ABD.
- State Machine Replication, Atomic Broadcast, Consensus.
- Impossibility of Consensus.
- Single-Decree Paxos / Локальное хранилище: LSM, снимки состояния.
- Multi-Paxos / Google File System.
- RAFT / Дизайн KV хранилища, Google BigTable.
- Paxos Made Live.
- Формальные методы, TLA+.
- Транзакции, Two-Phase Locking, Snapshot Isolation.
- Распределённые транзакции: Spanner, Calvin.
- PBFT / CRDT.
- Bitcoin.
- MapReduce.
Курс направлен на овладение навыками работы с данными для машинного обучения. Эти навыки включают в себя дизайн конвейера сбора и обработки данных, его оптимизацию под разнообразные ограничения (бюджет, качество работы модели и проч.), автоматизацию этих процессов, оценку качества работы модели и её улучшение. Всё это — интегральная часть ML/AI-решений и задачи, с которыми инженеры сталкиваются в повседневной работе.
По итогам курса слушатели смогут самостоятельно реализовать полный цикл работы с данными : от сбора обучающего набора данных до проверки и поддержания качества работы модели на меняющихся данных.
Программа:
- Введение. Работа с данными в машинном обучении.
- Общая концепция краудсорсинга. Декомпозиция задачи.
- Проектирование интерфейсов и инструкций для краудсорсинговых проектов.
- Контроль качества. Этапы и инструменты.
- Автоматизация конвейера по сбору данных.
- Проектная работа: сбор данных для обучения модели с целевым качеством.
- Подходы к оптимизации бюджета.
- Агрегация полученных результатов: категориальная разметка, попарная разметка, агрегация сложных ответов.
- Human-in-the-loop и другие подходы к оптимизации процессов разметки.
- Проектная работа: сбор данных для обучения модели с целевым качеством и ограничением по бюджету.
- Оценка качества работы модели.
- Сбор данных для дообучения.
- Проектная работа: сбор данных для обучения и поддержания качества модели в условиях меняющегося мира.
- Кейс-стади: работа с данными в Поиске, Алисе, Переводчике, Беспилотных технологиях, тестировании и других продуктах.
Rust — это молодой системный язык программирования, спроектированный с учётом богатой истории C и С++. За языком уже сейчас стоят большие игроки ИТ-индустрии: в Rust Foundation входят Google, Amazon, Microsoft, Facebook и Huawei — эти компании спонсируют развитие языка и принимают активное участие в его развитии.
В рамках курса мы рассмотрим все ключевые аспекты языка: ownership, borrow checking, fearless concurrency, процедурные макросы, сетевое программирование, async и unsafe. Будет много практики: 2–4 задания каждую неделю, а также 3 больших проекта (3–4 недели каждый), в которых нужно будет написать работающее приложение на 700–800 строк кода (или даже больше).
Курс рекомендуется всем, кто уже имеет опыт программирования на других языках (желательно — на С++) и хочет познакомиться с Rust.
Программа:
- Основы языка: переменные, ветвления, циклы, функции.
- Кортежи, структуры и enums. Pattern matching.
- Стандартные контейнеры и их применение.
- Владение объектами, время жизни и borrow checker.
- Generics и traits. Статическое и динамическое связывание.
- Обработка ошибок.
- Модули, библиотеки и модель компиляции. Тестирование.
- Умные указатели и interior mutability.
- Функциональные аспекты языка: итераторы и замыкания.
- Макросы и кодогенерация.
- Fearless concurrency: написание конкурентного кода на Rust.
- Сетевое программирование.
- Unsafe rust, FFI.
- Введение в async и stackless корутины.
Курс посвящён базовым криптографическим алгоритмам и схемам, которые лежат в основе всех основных прикладных криптопротоколов и систем. Рассматриваются блочные шифры, хэш-функции, режимы шифрования, схемы выработки кодов аутентификации сообщений и другие симметричные криптографические алгоритмы. Курс охватывает основные принципы построения криптографических систем и задачи, которые решаются с их помощью.
Программа курса строится не вокруг как можно большего количества аббревиатур (SHA1, MD5, AES и т.п.), а через изучение фундаментальных криптографических идей, лежащих в основе как самих схем, так и требований, которые к ним предъявляются. Освещаются основные идеи, лежащие в основе современного криптографического анализа, и принципы построения надёжной криптографической инфраструктуры.
Программа:
- Современная криптография: задачи, принципы, подходы.
- Блочные шифры.
- Конфиденциальность.
- Режимы работы блочных шифров.
- Хэш-функции.
- Целостность.
- Протоколы обеспечения защищенного обмена сообщениями.
- Криптографические ключи: генерация и нагрузка.
В математике игрой называется стратегическое взаимодействие сторон: например людей, животных, фирм или стран. Теория игр пытается предсказать исход подобного взаимодействия. Её задача — найти стратегию, которая позволит игроку достичь наилучшего результата, учитывая, что исход игры зависит не только от действий самого игрока, но и от действий его оппонентов. Основной подход к решению игр предложил американский математик Джон Нэш, получивший в 1994 году Нобелевскую премию по экономике.
На курсе вы изучите основные понятия теории игр, поиграете в игры и рассмотрите задачи из разных областей знаний (экономики, биологии, политологии), которые можно решить при помощи теории игр.
Программа:
- Введение в теорию игр.
- Игры в развёрнутой форме.
- Игры в нормальной форме.
- Игры с одновременными ходами.
- Наилучший ответ.
- Равновесие Нэша в чистых и смешанных стратегиях.
- Игры с нулевой суммой.
- Динамические игры.
- Многопериодные игры с наблюдаемыми действиями.
- Игры с неполной информацией.
- Эксперимент. Ultimatum Bargaining Game (Guth et al. 1982).
- Введение в теорию аукционов.
- Мэтчинг или теория паросочетаний (Matching theory) — бонусная лекция про женитьбу.
В науке нет единого подхода к определению понятия информации. В разных областях оно трактуется по-разному: информация по Хартли, энтропия Шеннона, Колмогоровская сложность или коммуникационная сложность. Каждое из понятий отражает некоторую грань интуитивного понятия информации. Курс охватывает все эти грани и то, как разные подходы к информации применяются в решении задач.
Программа:
- Информация по Хартли.
- Применения информационного подхода для решения задач о взвешиваниях.
- Применения информационного подхода в коммуникационной сложности: метод прямоугольников.
- Распределения вероятностей на буквах данного алфавита. Однозначные и префиксные бинарные коды букв данного алфавита. Средняя длина кода одной буквы.
- Определение энтропии Шеннона и её связь со средней длиной оптимального префиксного кода. Код Шеннона-Фано.
- Неравенство Крафта-Макмиллана и нижняя оценка средней длины любого однозначного кода.
- Условная энтропия Шеннона и её свойства.
- Независимость и энтропия. Коммутативность информации.
- Информационные неравенства. Близкие случайные величины и неравенство Фано.
- Классификаторы и их информативность.
- PAC learning.
Курс читают специалисты разных направлений и рассказывают о методах работы с Python через призму своего опыта. Лекции максимально нацелены на практическую пользу и строятся на примерах из рабочих процессов.
Все что мы рассказываем полезно в дальнейшей работе. Мы не рассказываем о том, что знает полтора человека и усложняет жизнь. Мы рассказываем не только на тривиальных примерах, но и на примерах из рабочих процессов.
Программа:
- Простые типы, структуры данных, функции и управляющие конструкции.
- Numpy, pandas, визуализация.
- Неймспейсы, замыкания декораторы.
- Введение в bytecode.
- Классы, Datetime.
- Модули, пакеты, импорт, setup.
- Исключения, контекстные менеджеры.
- Итераторы. Генераторы; MapReduce и Streaming.
- Typing.
- Threading, multiprocessing, Корутины, async/await.
- Web, Http, Api, базы данных, ORM.
- Паттерны проектирования, Метаклассы, дескрипторы.
- Протобуфы, флетбуфы, биндинги.
- Ускорение вычислений. Утечки памяти.
Курс предназначен для будущих аналитиков и разработчиков, которые планируют работают с данными. Из курса вы узнаете, как спроектировать хранение данных, как автоматизировать всю цепочку их преобразований, как сэкономить место и вычислительные ресурсы кластера (а значит, деньги).
Безусловно, за 12 недель невозможно рассмотреть все тонкости и аспекты, поэтому основной акцент будет на универсальных знаниях, которые приносят пользу независимо от конкретных технологий.
Программа:
- SQL.
- CLI+Hadoop, доступ к кластеру, Scala base.
- Захват данных с источника. Spark STG -> RAW.
- ETL-платформы на базе Airflow. ETL + RAW -> ODS + Airflow.
- Продвинутый Spark.
- Классические хранилища, DV, AM. Проектирование.
- MPP системы и GP в частности.
- ODS->GP->DDS -> CDM.
- Витрины, заказчик витрин, отчеты, взгляд со стороны BI. Визуализация в Tableau.
- DQ, SLA, monitoring.
- Управление, развитие, DWH.
NLP (Natural Language Processing) — это одно из направлений изучения ИИ, которое занимается компьютерной обработкой сырых данных на естественном языке. Курс охватывает основные задачи в NLP и рассказывает о том, какие статистические подходы получают новую жизнь и новую интерпретацию в нейросетях, а какие постепенно отмирают.
Вы узнаете, что NLP — это не набор пар, а общие идеи, которые проникают в разные задачи и отражают некоторую общую концепцию. Вы также познакомитесь с подходами, применяемым на практике.
Программа:
- Эмбеддинги слов.
- Классификация текстов.
- Языковые модели.
- Seq2seq и механизм внимания.
- Transfer Learning.
- Доменная адаптация.
- Машинный перевод.
- Сжатие моделей.
- Извлечение отношений.
- Суммаризация текстов.
- Диалоговые системы.
Курс знакомит с современными методами трёхмерного анализа сцены, включающими в себя работу с обычной камерой и со специализированными сенсорами вроде лидара. Вы научитесь реконструировать трёхмерную структуру сцены по нескольким изображениям разными методами, в том числе современным NERF, и работать с облаками точек.
Программа:
- Введение в 3D зрение. Модель камеры. Калибровка камеры.
- Многовидовая геометрия. Гомография. Фундаментальная матрица и её оценка. Триангуляция точек Эпиполярная геометрия.
- Разреженная многовидовая реконструкция. SfM (Structure from Motion) и SLAM (Simultaneous Localization and Mapping).
- Оценка карты глубины по одному и двум кадрам. 3D сенсоры.
- Многовидовая реконструкция. NERF.
- 3D детекция, сегментация, реконструкция.
Продолжение курса Алгоритмы и структуры данных. Лекции покрывают стандартные и продвинутые темы: алгоритмы на строках, конечные автоматы, контекстно-свободные грамматики, задачи о максимальном потоке, персистентность, быстрое преобразование Фурье (FFT), многопоточность и сжатие информации.
На семинарских занятиях разбираются задачи, которые показывают применения и скрытые возможности пройденных структур данных. Домашние задания закрепляют полученные знания, воспитывают хороший стиль написания кода и учат избегать распространённых ошибок.
Программа:
- Обход в ширину. Обход в глубину.
- 2-разрезы.
- Поиск кратчайших путей.
- Минимальные остовные деревья.
- Поиск подстрок.
- Суффиксные деревья.
- Суффиксные массивы.
- Длиннейшие общие подстроки. Приближённый поиск подстрок.
Современные веб-приложения строятся поверх СУБД. Они позволяют разработчикам не думать о том, как хранить и искать данные, обеспечить конкурентный доступ большому числу пользователей одновременно и оптимально использовать ресурсы железа. Все эти сложности скрыты за простым интерфейсом языка запросов, как правило, диалекта SQL. Тем не менее при построении высоконагруженных систем необходимо понимать, как работает СУБД и почему выполнение запросов занимает определённое время.
На курсе разбирается устройство СУБД изнутри: хранение данных, выполнение запросов и реализация транзакций. В первую очередь курс рассчитан на тех, кто хочет присоединиться к командам, отвечающим за разработку СУБД, но также будет полезен и тем, кто собирается использовать хранилища данных с доступом в реальном времени в рабочих проектах.
В Яндексе есть несколько команд, занимающихся разработкой СУБД: Postgres, ClickHouse, YDB и YT.
Программа:
- Интерфейсы современных баз данных: реляционные, ключ-значение, документные, графовые. Реляционная алгебра и язык SQL.
- Работа с диском в классических реляционных СУБД: страницы, пул страниц, вытеснение из пула.
- Выполнение SQL запросов: разбор выражения, планирование, исполнение. Интерпретация и кодогенерация с помощью LLVM.
- Индексы в реляционных СУБД: типы индексов, способы хранения, использование в запросах.
- Транзакции: аббревеатура ACID, уровни изоляции, реализация транзакций через блокировки и MVCC.
- Восстановление при аварии: журнал, чекпойнты, алгоритм ARIES.
- Хранение данных методом Log-Structured Merge Tree.
- Поколоночные СУБД: преимущества, особенности, алгоритмы сжатия данных.
- Распределённые СУБД: шардирование, транзакции, выполнение запросов.
- СУБД, распологающиеся в основной памяти. Структуры данных для индексов в памяти.
Продолжение курса первого семестра, посвящено асимметричной криптографии и криптографическим протоколам. На курсе рассматриваются схемы шифрования с открытым ключом, схемы электронной подписи и протоколы согласования ключей. Большое внимание уделяется протоколам аутентифицированной выработки общего ключа и защиты канала связи, в частности, базовому криптографическому протоколу современного интернета — TLS.
Курс также охватывает проблемы доверия к открытым ключам, инфраструктуру открытых ключей PKI и методы защищённого хранения закрытых ключей. Заключительные лекции посвящены новым направлениям в криптографии, таким как квантовая криптография и блокчейн.
Программа:
- Базовые понятия асимметричной криптографии и криптографических протоколов.
- Алгебраические и алгоритмические основы.
- Базовые трудные задачи и методы их решения.
- Шифрование с открытым ключом.
- Электронная подпись.
- PKI.
- AKE-протоколы.
- PAKE-протоколы.
- Протокол TLS.
Курс охватывает современные архитектуры генеративных моделей и алгоритмы их обучения. На лекциях освещаются и анализируются основные подходы к генеративным моделям, а на семинарах разбираются примеры генерации изображений, текстов и других объектов с помощью вариационных автокодировщиков (VAE), генеративно-состязательных сетей (GAN), авторегрессионных моделей, нормализующих потоков и других подходов.
Курс Высшей школы экономики по генеративным моделям проводит команда преподавателей из лаборатории LAMBDA ФКН НИУ ВШЭ.
Продолжение курса теории игр, охватывающее отдельные ветки теории игр, том числе теорию социального выбора и теорему Эрроу, которая доказывает, что демократия невозможна. Вы изучите игры с сигнализированием на примере образования и узнаете, что сильным студентам нужно вкладываться больше, чтобы подать рынку верный сигнал, а также научитесь применять теоретико-игровой аппарат к анализу конфликтов и сотрудничества. За результаты в этой области Роберт Ауман и Томас Шеллинг в 2005 году получили Нобелевскую премию.
Вторая половина курса посвящена теории аукционов и дизайну механизмов. Разберём самые известные виды аукционов, в том числе обобщённый аукцион второй цены и аукцион Вики, с помощью которого ведущие поисковые сети продают рекламу. Поговорим об эффективном и оптимальном способах продажи товара и решим задачу по поиску оптимального механизма продажи.
Программа:
- Теория социального выбора. Теорема Мэя.
- Теория социального выбора (продолжение). Теорема Эрроу.
- Игры с сигнализированием.
- Кооперативная теория игр.
- Теория конфликтов.
- Введение в теорию аукционов.
- Аукцион I и II цены. Равновесия, сравнение прибыли аукциониста.
- Теорема об эквивалентности дохода (RE). Решение разных аукционов через RE.
- Risk-averse покупатели. Ограничение по бюджету. Асимметрия.
- Введение в теорию механизмов. Прямые механизмы. Совместимые со стимулами механизмы.
- Оптимальный механизм. Эффективный механизм (VCG). Position auction (на примере статьи Varian).
- Position auction (по статье Эдельман/Островский/Шварц). Сговоры в аукционах. Зависимые ценности.
Курс знакомит с типичными классами и эффективными способами решения задач оптимизации, в которых множество допустимых решений имеет явно выраженную комбинаторную природу. Подобные задачи встречаются в теории графов: паросочетания, пути, упаковки, покрытия и раскраски и т. п.
Курс также охватывает применение теории линейного и целочисленного программирования, включая понятие линейной двойственности и различные свойства целочисленности линейных программ (тотальная унимодулярность и тотальная двойственная целочисленность), а также широкий класс комбинаторных задач, решаемых за полиномиальное время.
Вы познакомитесь с приближёнными методами решения задач, такими как линейные релаксации, которые позволяют эффективно строить приближённые решения с гарантированной погрешностью. Семинары курса посвящены различным методам решения комбинаторных задач (как правило NP-трудных) на практике. Будут рассмотрен метод ветвей и границ, метод локального поиска, а также различные методы решения с использованием солверов для линейных программ.
Для прохождения курса потребуются базовые знания линейной алгебре, знание основных терминов теории графов, а также алгоритмическая подготовка на уровне базового курса по алгоритмам и структурам данных.
Программа:
- Примеры комбинаторных задач, понятие сильной и слабой двойственности.
- Полиэдры и политопы, понятие вершины, понятие целочисленности полиэдра, тотальная унимодулярность.
- Построение двойственных линейных программ, теорема о сильной двойственности, условия дополняющей нежесткости.
- Прямо-двойственные методы построения решений для комбинаторных задач.
- Ослабленные условия дополняющей нежесткости и применения прямо-двойственного метода к задаче о покрытии множества.
- Алгоритм Эдмондса для поиска максимального паросочетания в недвудольном графе. Минимаксная формула Татта-Бержа.
- Применения прямо-двойственного метода для построения алгоритма решения задачи о паросочетании минимальной стоимости в недвудольном графе.
- Тотальная двойственная целочисленность и её связь с целочисленностью полиэдра программы.
- Задачи о цепях и антицепях в частично упорядоченных множествах.
- Матроиды, их свойства, понятие субмодулярности.
- Пересечение матроидов и оптимизация по пересечению матроидов.
- Метод эллипсоидов для полиномиального решения задачи линейного программирования.
- Симплекс-метод для решения задачи линейного программирования, примеры его применения с помощью пакета GLPK.
- Метод ветвей и отсечений для решения целочисленных линейных программ.
- Задача о рюкзаке, псевдополиномиальные и приближенные алгоритмы для её решения.
- Метод ветвей и границ для точного решения задач комбинаторной оптимизации, применение к задаче о рюкзаке.
- Метод локального поиска в применении к комбинаторным задачам.
Продолжение курса знакомит с различными областями и приложениями современного машинного обучения, в том числе с основами глубинного обучения, рекомендательными системами, временными рядами, обучением с подкреплением.
Программа:
- Основы глубинного обучения.
- Свёрточные нейросети.
- Рекуррентные нейросети.
- Механизм внимания и трансформеры.
- Графовые нейронные сети.
- Модели с латентными переменными и ЕМ-алгоритм.
- Кластеризация.
- Ранжирование.
- Рекомендательные системы.
- Временные ряды.
- Обучение с подкреплением.
Курс посвящён применению байесовских методов в глубинном обучении и охватывает следующие темы: применение вероятностного моделирования для построения порождающих моделей данных, использование состязающихся сетей для приближённого вывода, моделирование неопределённости в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
Программа:
- Стохастический вариационный вывод. Применение SVI на примере масштабируемых тематических моделей.
- Дважды стохастический вариационный вывод. Дисперсия стохастических градиентов в примерах.
- Байесовские нейронные сети. Локальная репараметризация.
- Вариационный автокодировщик, нормализующие потоки для вариационного вывода. Репараметризация, оценки с выборкой по значимости (IWAE).
- Методы снижения дисперсии в моделях со скрытыми переменными. Методы снижения дисперсии в моделях со скрытыми переменными.
- Оценка отношения плотностей распределений, применение на примере \alpha-GAN. f-GAN.
- Deep Markov chain Monte Carlo (MCMC).
Курс по обучению с подкреплением (RL) посвящён построению алгоритмов, которые изучают систему методом проб и ошибок. В отличие от традиционного машинного обучения методы RL должны сначала определить, какие именно результаты являются «лучшими». Вы изучите основы RL, инженерные «хаки», используемые для решения реальных задач RL, а также промышленные приложения и имеющиеся актуальные исследовательские работы. Курс охватывает самые разные приложения: от игр и робототехники до рекомендательных систем и машинного перевода.
Программа:
- Задачи обучения с подкреплением; Марковский процесс принятия решения.
- Уравнение Беллмана; Value-based RL.
- Обучение без модели среды; «off-policy» и «on-policy» методы.
- Обучение с подкреплением с аппроксимацией: улучшения для стабильности.
- Обучение на основе оптимизации политики.
- Продвинутое обучение на основе оптимизации политики.
- Последовательные данные в обучении с подкреплением.
- Distributional RL.
- Imitation Learning .
- Непрерывное управление.
С++ — мощный язык с богатым наследием. Тем, кто только ступил на путь освоения этого языка, очень просто заблудиться в изобилии техник и приёмов, созданных за последние 30 лет.
Курс учит «Modern C++» — современному подмножеству языка (стандарты 11, 14 и 17). Много внимания уделяется инструментам и библиотекам — вещам которые не являются частью языка, но без которых не получится построить большой и сложный проект.
Программа:
- Потоки. Мьютексы, guard-ы, data race. RW-lock, дедлоки, TSAN.
- Условная синхронизация, condition variable.
- Модель памяти и атомарные переменные. Барьеры.
- Реализация примитивов синхронизации на linux. Futex. Hazard pointer.
- Метапрограммирование шаблонов. SFINAE. constexpr. Концепты.
- Сетевое программирование.
- Алгоритмы работы санитайзеров (asan, msan, tsan).
- Архитектура компилятора, clang, llvm.
- Производительность. Устройство RAM. Микроархитектура процессора. perf.
Курс посвящён топологическим и алгебраическим идеям, на которых основан топологический анализ данных. Он охватывает такие понятия, как симплициальный комплекс, фильтрация комплексов и устойчивые симплициальные гомологии.
Вы изучите теорию, которая позволит вычислять геометрически интерпретируемые характеристики сложных многомерных данных. Подобные характеристики часто используются в естественных науках, а в последнее время становятся популярными и в машинном обучении. На лекциях также будет затронуты темы, связанные с топологией и геометрией случайных данных.
Программа:
- Что такое топология, и какие приложения у топологической интуиции?
- Устойчивые гомологии и диаграммы устойчивости.
- Вычисление диаграмм устойчивости и расстояний между ними.
- В сторону фрактальных методов.
- Ядерные и векторные представления диаграмм устойчивости.
- Теория Ходжа.
- Лапласиан Ходжа.
- Теория Ходжа — связь с топологией.
- «Каскад собственных векторов».
- Последние достижения в топологическом анализе данных.
- Дифференцируемость отображения устойчивых гомологий. Топологический автокодировщик.
В этом курсе разобран ряд методов статистики, которые зачастую не включены в программы стандартных курсов математической статистики. Показано, как идеи из математической статистики могут применяться в современных методах машинного обучения для улучшения существующих процедур анализа и обработки данных.
В рамках данного курса рассматривается методология построения суррогатных моделей и показывается, как изложенные методы её реализуют. Применение методологии проиллюстрировано на примере решения реальных индустриальных задач.
Программа:
- Оценка параметров.
- Проверка гипотез. Линейная регрессия.
- Линейная регрессия.
- Непараметрическое оценивание.
- Нелинейные регрессионные модели.
- Байесовский подход к регрессии.
- Методы планирования экспериментов.
- Методы снижения размерности.
- Оценка чувствительности модели.
- Примеры индустриальных приложений.
Рекомендательные системы используются внутри множества сервисов: интернет-магазинов, видеохостингов, новостных ресурсов, лент в соцсетях и т. п. На курсе вы познакомитесь с классическими алгоритмами рекомендаций, такими как матричные факторизации, и с более современными нейросетевыми подходами. Большое внимание на курсе уделяется практическому применению алгоритмов в продакшене и разбору кейсов использования рекомендательных систем в сервисах Яндекса и других компаний.
- Введение, общая постановка задачи, основные концепции.
- Методы на основе матричных факторизаций.
- Нейросетевые и content-based рекомендации.
- Обучение ранжированию и оценка качества рекомендаций.
- Приёмы для применения в продакшене.
- Case study.
До недавнего времени описание мощного искусственного интеллекта, способного решать задачи распознавания и синтеза речи, можно было встретить только в научной фантастике, но сегодня нейросеть умеет распознавать человеческую речь лучше, а речевые технологии используются для множества задач: в голосовых помощниках, для ввода текста и даже для синхронного перевода.
Курс посвящён современным речевым технологиям, их устройству и применению. Вы научитесь работать с сырыми речевыми данными, изменять, распознавать, а также генерировать голос.
Программа
- Речь и её представления, используемые в задачах синтеза и распознавания.
- Распознавание речи. Генеративные и дискриминативные state-space модели. Улучшение распознавания речи с помощью языковых моделей. Encoder-Decoder архитектуры с механизмом внимания.
- Синтез речи. Акустические модели с авторегрессионной и параллельной генерацией. Стабильность и контролируемость синтеза речи. Моделирование интонации. Вычислительная эффективность синтеза речи.
- Вокодеры. Баланс между вычислительной эффективностью и качеством звука.
Курс посвящён применению методов анализа данных в решении задач из медицины, биологии и демографии. Вы познакомитесь с широким кругом задач анализа данных — регрессией, классификацией, интерпретацией косвенных экспериментов и анализом нелинейных статистических взаимозависимостей, — а также разбёрете постановки задач в терминах, заложенных в применяемых методах.
В задачах из медицины мы разберём построение полиномиальной регрессии, методы выбора сложности получаемого решения, оценку информационного расстояния между распределениями, использование комбинаторной размерности и радемахеровской сложности, а также метод конформных предикторов. В задаче из биологии нам потребуется непараметрическая оценка взаимной информации в гильбертовом пространстве с воспроизводящим ядром, а в задаче из демографии — решение некорректных задач и регуляризация.
По ходу изложения курса будем останавливаться на вопросах обоснования популярных методов, например, «ядерный трюк», Ridge и LASSO регрессии.
Программа
- Прямые и обратные задачи интерпретации данных.
- Статистическая постановка задачи регуляризации. Гребневая и LASSO регрессии.
- МНК с регуляризацией второго порядка.
- Универсальное правило классификации и проблема влияния объёма выборки на качество классификации.
- Средний и эмпирический риски.
- Индекс системы решающих правил на заданной выборке.
- Равномерная сходимость частот к вероятностям.
- Достаточное условие равномерной сходимости частот к вероятностям.
- Необходимые и достаточные условия равномерной сходимости эмпирического риска к среднему риску.
- Метод структурной минимизации риска для выбора структуры зависимости по эмпирическим данным.
- Практическая задача — поиск групп сопутствующих заболевании, статистически связанных со смертностью от рака.
- Оценка качества восстановления зависимости методом cross-validation и с использованием радемахеровской сложности.
- Оценка зависимости между случайными величинами через взаимную информацию.
- Непараметрическая оценка взаимной информации через минимизацию квадратичного функционала.
- Метод конформных предикторов.
За последние несколько лет глубинное обучение надёжно закрепилось как инструмент для решения задач, в которых важны быстрое время итерации эксперимента и высокая производительность моделей на этапе применения. В курсе сделан акцент на практические аспекты обучения и применения нейросетей, которые обычно оставляют за рамками образовательных программ.
Программа:
- Введение в курс.
- Краткое повторение основ глубинного обучения и операционных систем.
- Data-parallel training. Семейство алгоритмов All-Reduce.
- Model-parallel training.
- Профилирование кода на GPU. Оптимизация обучения для конкретных доменов.
- Основы создания сетевых сервисов на Python.
- Трансформация обученных моделей в сервисы и оптимизация их выполнения программными средствами: inference-серверы, выполнение в браузере и на устройстве.
- Оптимизация выполнения нейросетей архитектурными средствами: квантизация, дистилляция, сжатие.
- Отслеживание экспериментов, версионирование моделей и данных.
- Тестирование, отладка, мониторинг и поддержка DL-систем.
Курс знакомит с основами Go и учит применять язык на практике. На первый взгляд Go похож на C: он небольшой, похож по синтаксису и статически типизирован. Но на этом сходство заканчивается — Go заимствует хорошие идеи из других языков, но избегает усложняющих фичей.
Курс охватывает следующие темы: стандартную библиотеку, инструменты языка (профайлер, race-детектор, пакетный менеджер и т. д.) и concurrency. Основной упор сделан на практическом применении и решении конкретных задач.
Программа:
- Введение. Философия дизайна.
- Базовые конструкции языка.
- Методы.
- Горутины и каналы.
- Продвинутое тестирование.
- Concurrency with shared memory.
- Package context.
- Работа с базами данных.
- Reflection.
- Ввод-вывод.
- Архитектура GC.
- Go tooling.
- Полезные библиотеки.
Курс посвящён конкурентным системам и задачам в самом широком понимании. Он охватывает темы от уровня конкуренции ядер процессора за запись в одну ячейку памяти до распределённых систем, которые хотят отказоустойчиво и согласованно реплицировать своё состояние между несколькими серверами.
Программа:
- Intro / Механика потоков или Кооперативные файберы.
- Взаимное исключение.
- Thread Pool, Coroutines, IO.
- Модели памяти, часть I.
- Модели памяти, часть II (слабые модели памяти).
- Futures & Promises.
- Неблокирующая синхронизация (lock-free).
- Thread Sanitizer.
- Go Scheduler.
- Stackless Coroutines.
- Unified Executors.
- Lock-Free Channel + Select, Multi-Cas.
- Structured Concurrency.
- Сила атомарных операций, число консенсуса.
Курс представляет собой работу над командными исследовательскими проектам в области машинного обучения.
Курс представляет собой проектную работу по разработке ML‑проектов в командах.
Курс посвящён технологии беспилотного транспорта и включает следующие темы: компоненты беспилотного автомобиля, задачи, которые возникают в процессе создания этих компонент и методы их решения.
Программа:
- Area overview + basic localization.
- Lidar-based Localization and HD maps.
- Perception.
- Prediction.
- Motion Planning & Control.
- Behavior Planning.