Курсы ШАДа

 

Программа:

1. Модель вычислений во внешней памяти.
2. Сортировка во внешней памяти.
   
3. Архитектура компьютера в разрезе RAM и дисков, устройства API записи/чтения в OS, кэши операционной системы.
   
4. Задача List Ranking.
   
5. Техника Time Forward Processing.
   
6. Структуры данных для задач на подотрезках и на деревьях.
   
7. Куча во внешней памяти.
   
8. Буфферизированные деревья.
   
9. Хэш-таблицы во внешней памяти.
   
10. Геометрические задачи во внешней памяти.
    
11. DFS/BFS во внешней памяти.
    
12. Поиск связных компонент во внешней памяти.
    
13. Техника Parallel Sliding Window.
    
14. Архитектура кеша, понятие cache-aware и cache-oblivious алгоритмов.
    
15. Cache-oblivious бинарный поиск.
    
16. Van Emde Boas layout.
    
17. Cache Oblivious Lookahead Array.
    
18. QuickHeap.
    
19. Модель streaming-алгоритмов.
    
20. Алгоритмы Misra-Gries и Count-Min Sketch.
    
21. BJKST-скетч.
    
22. Построение нижних оценок сложноси на streaming-алгортмы.
    
23. Q-digest.
    
24. Резервуарное сэмплирование на потоке и на окне в потоке.
    
25. Locality-sensitive hashing.
    

Программа:

1. Сложность и модели вычислений.
2. Анализ учётных стоимостей.
   
3. Алгоритмы Merge-Sort и Quick-Sort.
   
4. Порядковые статистики.
   
5. Хеширование.
   
6. Деревья поиска.
   
7. Система непересекающихся множеств.
   
8. Задачи RMQ и LCA.
   
9. Структуры данных для геометрического поиска.
   
10. Задача о динамической связности в ненаправленном графе.
    

Программа:

1. UNIX и программирование на языке С: командная строка, управление процессами, каналы, сигналы. Реализация оболочки командной строки.
2. Ассемблер x86: арифметика, переходы, условия и вызовы функций. Стек, перемещение вверх по стеку.
3. Линковка программ и формат ELF. Динамическая линковка.
4. Понятие контекста и потока исполнения. Реализация легковесных потоков.
5. Вытесняющая многозадачность: поддержка со стороны процессора x86 и реализация процессов в ядре UNIX.
6. Многоядерная архитектура: когерентность кешей и модели памяти. Примитивы синхронизации в многопоточных программах.
7. Планирование процессов на одном ядре и на многих ядрах.
8. Внешняя память: жёсткие диски и твердотельные накопители. Принципы работы файловых систем.
9. Виртуализация: аппаратная и программная. Двоичная трансляция.   

Программа:

1. Байесовский подход к теории вероятностей, примеры байесовских рассуждений.
2. Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений.
3. Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели.
4. Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления.
5. Метод релевантных векторов для задачи классификации, приближение Лапласа.
6. Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент.
7. Вариационный подход для приближённого байесовского вывода.
8. Методы Монте-Карло с марковскими цепями (MCMC).
9. Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. Динамика Ланжевена для сэмплирования и оптимизации.
10. Модель LDA для тематического моделирования.
11. Гауссовские процессы для регрессии и классификации.

Программа:

1. Истоки и задачи лингвистики.
2. Язык как система. Происхождение языка. Генетическая классификация языков. 
3. Языки и диалекты.
4. Обзор языков мира.
5. Грамматическое и лексическое значение.
6. Фонетика и фонология.
7. Морфемика. Словоизменение и словообразование.
8. Морфология. Грамматические средства языка. Типологическая классификация языков.
9. Историческая морфология: опрощение, переразложение, гиперкоррекция, усечение, удлинение.
10. Согласование. Синтаксис.
11. Язык и мышление. Гипотеза лингвистической относительности. Наивная и научная картина мира.
12. Значение слова. Аналитические толкования. Метаязык. Многозначные слова.
13. Словари: история и современность.

Программа:

1. Метрические и нормированные пространства.
2. Свойства полных метрических пространств: теорема о сжимающих отображениях, теорема о вложенных шарах.
3. Гильбертовы пространства.
4. Введение в теорию меры и интеграл Лебега.
5. Пространства Соболева.
6. Базисы в нормированных пространствах. Ортонормированные базисы в гильбертовых пространствах.
7. Линейные ограниченные операторы в нормированных пространствах.
8. Линейные непрерывные функционалы. Сопряжённые пространства.
9. Сопряжённые операторы, самосопряжённые и нормальные операторы. Ортогональные проекторы.
10. Теорема Хана—Банаха для нормированных сепарабельных пространств.
11. Введение в спектральную теорию линейных ограниченных операторов в банаховом пространстве.
12. Компактные множества в метрических пространствах. Компактные операторы.
13. Интегральные операторы. Теорема Гильберта-Шмидта и теория Фредгольма.
14. Преобразование Фурье.

Программа:

1. Выпуклые множества.
2. Выпуклые функции.
3. Условия оптимальности и двойственность.
4. Введение в методы оптимизации. Иллюстрация на примере градиентного спуска. 
5. Нижние оценки и оптимальные методы. Быстрый градиентный спуск.
6. Проксимальный градиентный спуск.
7. Техника сглаживания. 
8. Метод модифицированной функции Лагранжа. ADMM. 
9. Метод зеркального спуска.
10. Метод штрафных функций. Барьерный метод.
11. Метод Ньютона и квазиньютоновские методы.
12. Метод внутренней точки.
13. Рандомизированные методы оптимизации и их связь с стохастической оптимизацией.
14. Онлайн оптимизация и методы онлайн-оптимизации.
15. Робастная оптимизация и стохастическая-оптимизация.

Программа:

1. Intro, recap of Neural network basics, optimization, backprop, biological networks.
2. Images, linear filtering, convolutional networks, batchnorms, augmentations.
3. ConvNet architectures and how to find them, transfer learning.
4. Dense prediction: semantic segmentation, superresolution/image synthesis, perceptual losses.
5. Non-convolutional architectures: vision transformers, mixers, FFT convolutions.
6. Visualizing and understanding deep architectures, adversarial examples.
7. Object detection, instance/panoptic segmentation.
8. Representation learning: face recognition, verification tasks, self-supervised learning, few-shot learning, image captioning, CLIP.
9. Latent models (generative latent optimization, autoencoders, DALL-E, flow models).
10. Generative adversarial networks.
11. Shape and motion estimation: spatial transformers, optical flow, stereo, monodepth, point cloud generation, implicit and semi-implicit shape representations.
12. New view synthesis: multi-plane images, neural radiance fields, mesh-based and point-based representations for NVS, neural renderers. 

Программа:

1. Цифровое изображение и тональная коррекция.
2. Обработка изображений.
3. Совмещение изображений.
4. Классификация и поиск по изображениям.
5. Свёрточные нейросети для классификации изображений.
6. Трансформеры.
7. Детекторы объектов.
8. Семантическая сегментация.
9. Перенос стиля и синтез изображений.
10. Обучение представлений без учителя.

Программа: 

1. Системы линейных уравнений и матрицы.
2. Определители и спектр, полиномиальное исчисление от матриц.
3. Векторные пространства, координаты, ранги.
4. Линейные отображения и операторы.
5. Билинейные формы и скалярные произведения.
6. Операторы в евклидовом пространстве и SVD.
7. Пределы и производные.
8. Условная оптимизация и интегралы.
9. Вероятностное пространство.
10. Случайные величины.
11. Случайные векторы и независимость.
12. Условные математические ожидания и свёртка распределений.
13. Характеристические функции. Основная модель математической статистики.
14. Элементы математической статистики.    

Программа:

1. Матричные дифференцирования.
2. Введение в математическую статистику.
3. Задачи машинного обучения. Метрики качества.
4. Линейные модели классификации и регрессии.
5. Вероятностные модели. Обобщённая линейная модель.
6. Введение в полносвязные нейронные сети. Обратное распространение ошибки.
7. Решающие деревья.
8. Ансамбли алгоритмов. Бэггинг. Случайный лес.
9. Градиентный бустинг.
10. Метрические методы.
11. Генеративные модели классификации.
12. Понижение размерности. SVD. TSNE.  

Программа:

1. Введение. Функции, переменные, типы. Операторы и выражения. Компиляция, заголовочные файлы. Указатели и ссылки. Параметры и возвращаемые значения функций. Арифметика указателей.
2. Структуры и классы. ООП, конструкторы, деструкторы, операторы. Инкапсуляция.
   
3. Шаблоны и STL. Контейнеры, алгоритмы, итераторы. Функторы и лямбды.
   
4. Динамическое управление памятью. Умные указатели. RAII.
   
5. Наследование. Виртуальные функции, абстрактные классы. Исключения.
   
6. Паттерны проектирования.
   
7. Расположение объектов в памяти, выравнивание.
   
8. Отладка, GDB, coredumps.
   
9. Строки. Кодировки и регулярные выражения.
   
10. Move-семантика. rvalue-ссылки, variadic templates, perfect forwarding.
    

Программа: 

1. Классическое определение вероятности. Вероятностная модель эксперимента с конечным числом исходов. Классические вероятностные задачи на подсчёт случайных шансов.
2. Условные вероятности. Независимость. Условное математическое ожидание.
3. Дискретные случайные величины и их характеристики. 
4. Схема Бернулли. Неравенство Чебышева, следствия. Закон больших чисел Бернулли. Предельные теоремы (локальная, Муавра-Лапласа, Пуассона).
5. Случайное блуждание. Вероятности разорения и средняя продолжительность при игре с бросанием монеты. Принцип отражения. Закон арксинуса.
6. Мартингалы. Определение. Примеры мартингалов. Определение момента остановки. Тождества Вальда.
7. Дискретные марковские цепи. Эргодическая теорема. 
8. Вероятностная модель эксперимента с бесконечным числом событий. Аксиоматика Колмогорова. Разные виды сходимости случайных величин. 
9. Слабая сходимость вероятностных мер. Метод характеристических функций в доказательстве предельных теорем.
10. Гауссовские, стационарные и марковские случайные процессы, случайные функции с ортогональными и независимыми приращениями. Винеровский процесс.   

Программа: 

1. Модель распределённой системы.
2. Время и високосные секунды.
3. Репликация и линеаризуемость. Линеаризуемый регистр, алгоритм ABD.
4. State Machine Replication, Atomic Broadcast, Consensus.
5. Impossibility of Consensus.
6. Single-Decree Paxos / Локальное хранилище: LSM, снимки состояния.
7. Multi-Paxos / Google File System.
8. RAFT / Дизайн KV хранилища, Google BigTable.
9. Paxos Made Live.
10. Формальные методы, TLA+.
11. Транзакции, Two-Phase Locking, Snapshot Isolation.
12. Распределённые транзакции: Spanner, Calvin.
13. PBFT / CRDT.
14. Bitcoin.
15. MapReduce.    

Программа: 

1. Введение. Работа с данными в машинном обучении.
2. Общая концепция краудсорсинга. Декомпозиция задачи.
3. Проектирование интерфейсов и инструкций для краудсорсинговых проектов.
4. Контроль качества. Этапы и инструменты.
5. Автоматизация конвейера по сбору данных.
6. Проектная работа: сбор данных для обучения модели с целевым качеством.
7. Подходы к оптимизации бюджета.
8. Агрегация полученных результатов: категориальная разметка, попарная разметка, агрегация сложных ответов.
9. Human-in-the-loop и другие подходы к оптимизации процессов разметки.
10. Проектная работа: сбор данных для обучения модели с целевым качеством и ограничением по бюджету.
11. Оценка качества работы модели.
12. Сбор данных для дообучения.
13. Проектная работа: сбор данных для обучения и поддержания качества модели в условиях меняющегося мира.
14. Кейс-стади: работа с данными в Поиске, Алисе, Переводчике, Беспилотных технологиях, тестировании и других продуктах.

Программа:

1. Основы языка: переменные, ветвления, циклы, функции.
2. Кортежи, структуры и enums. Pattern matching.
3. Стандартные контейнеры и их применение.
4. Владение объектами, время жизни и borrow checker.
5. Generics и traits. Статическое и динамическое связывание.
6. Обработка ошибок.
7. Модули, библиотеки и модель компиляции. Тестирование.
8. Умные указатели и interior mutability.
9. Функциональные аспекты языка: итераторы и замыкания.
10. Макросы и кодогенерация.
11. Fearless concurrency: написание конкурентного кода на Rust.
12. Сетевое программирование.
13. Unsafe rust, FFI.
14. Введение в async и stackless корутины.    

Программа:

1. Современная криптография: задачи, принципы, подходы. 
2. Блочные шифры.
3. Конфиденциальность.
4. Режимы работы блочных шифров.
5. Хэш-функции.
6. Целостность.
7. Протоколы обеспечения защищенного обмена сообщениями.
8. Криптографические ключи: генерация и нагрузка.

Программа:

1. Введение в теорию игр.
2. Игры в развёрнутой форме.
3. Игры в нормальной форме.
4. Игры с одновременными ходами.
5. Наилучший ответ.
6. Равновесие Нэша в чистых и смешанных стратегиях.
7. Игры с нулевой суммой.
8. Динамические игры.
9. Многопериодные игры с наблюдаемыми действиями.
10. Игры с неполной информацией.
11. Эксперимент. Ultimatum Bargaining Game (Guth et al. 1982).
12. Введение в теорию аукционов.
13. Мэтчинг или теория паросочетаний (Matching theory) — бонусная лекция про женитьбу.   

Программа: 

1. Информация по Хартли. 
2. Применения информационного подхода для решения задач о взвешиваниях.
3. Применения информационного подхода в коммуникационной сложности: метод прямоугольников.
4. Распределения вероятностей на буквах данного алфавита. Однозначные и префиксные бинарные коды букв данного алфавита. Средняя длина кода одной буквы.
5. Определение энтропии Шеннона и её связь со средней длиной оптимального префиксного кода. Код Шеннона-Фано.
6. Неравенство Крафта-Макмиллана и нижняя оценка средней длины любого однозначного кода.
7. Условная энтропия Шеннона и её свойства.
8. Независимость и энтропия. Коммутативность информации.
9. Информационные неравенства. Близкие случайные величины и неравенство Фано.
10. Классификаторы и их информативность.
11. PAC learning.  

Программа: 

1. Простые типы, структуры данных, функции и управляющие конструкции.
2. Numpy, pandas, визуализация.
3. Неймспейсы, замыкания декораторы.
4. Введение в bytecode.
5. Классы, Datetime.
6. Модули, пакеты, импорт, setup.
7. Исключения, контекстные менеджеры.
8. Итераторы. Генераторы; MapReduce и Streaming.
9. Typing.
10. Threading, multiprocessing, Корутины, async/await.
11. Web, Http, Api, базы данных, ORM.
12. Паттерны проектирования, Метаклассы, дескрипторы.
13. Протобуфы, флетбуфы, биндинги.
14. Ускорение вычислений. Утечки памяти.

Программа: 

1. SQL.
2. CLI+Hadoop, доступ к кластеру, Scala base.
3. Захват данных с источника. Spark STG -> RAW.
4. ETL-платформы на базе Airflow. ETL + RAW -> ODS + Airflow.
5. Продвинутый Spark.
6. Классические хранилища, DV, AM. Проектирование.
7. MPP системы и GP в частности.
8. ODS->GP->DDS -> CDM.
9. Витрины, заказчик витрин, отчеты, взгляд со стороны BI. Визуализация в Tableau.
10. DQ, SLA, monitoring.
11. Управление, развитие, DWH.

Программа: 

1. Эмбеддинги слов.
2. Классификация текстов.
3. Языковые модели.
4. Seq2seq и механизм внимания.
5. Transfer Learning.
6. Доменная адаптация.
7. Машинный перевод.
8. Сжатие моделей.
9. Извлечение отношений.
10. Суммаризация текстов.
11. Диалоговые системы.