Курсы ШАДа

 

Программа:

1. Системные вызовы.
   
2. Взаимодействие с оборудованием на примере подсистемы времени.
   
3. Язык ассемблера x86-64
   
4. Виртуальная память.
   
5. Прерывания и исключения процессора.
   
6. SMP, кеши процессора, модели памяти. NUMA.
   
7. Примитивы синхронизации.
   
8. Процессы и их планирование.
   
9. Формат ELF, линковка и запуск исполняемых программ.
   
10. Аллокаторы памяти.
    
11. Блочные устройства.
    
12. Файловые системы.
    
13. Extended Berkeley Packet Filter (eBPF).
    
14. Контейнеры в Linux
    

Программа:

Современные приложения строятся, как правило, поверх каких-нибудь СУБД. СУБД позволяют разработчикам не думать о том, как хранить данные на диске и как их искать, как обеспечить конкурентный доступ сразу многим пользователям, как оптимальнее воспользоваться ресурсами железа. Все эти сложности скрыты за простым интерфейсом языка запросов, как правило, какого-нибудь диалекта SQL. Тем не менее при построении высоконагруженных систем становится необходимым понимать, как работает СУБД и почему выполнение запросов занимает именно такое время. В курсе мы будем разбирать, как устроены СУБД изнутри: как хранить данные, как выполнять запросы, как реализовать транзакции. Предполагается, что слушатели уже знакомы с понятиями алгоритмов во внешней памяти, многопоточным программированием, распределёнными системами и умеют программировать на C++.

Программа:

1. Байесовский подход к теории вероятностей, примеры байесовских рассуждений.
2. Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры.
3. Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели.
4. Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления.
5. Метод релевантных векторов для задачи классификации, приближение Лапласа.
6. Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент.
7. Вариационный подход для приближённого байесовского вывода.
8. Методы Монте-Карло с марковскими цепями (MCMC).
9. Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения.
10. Гауссовские процессы для регрессии и классификации.
11. Процессы Дирихле и непараметрические байесовские модели.
12. Модель LDA для тематического моделирования.

Программа:

1. Обзорная лекция. Что такое CTF.
2. Безопасность веб-приложений. Server-side.
3. Безопасность веб-приложений. Client-side.
4. Безопасность мобильных приложений.
5. Прикладная криптография.
6. Аутентификация и авторизация.
7. Безопасность облаков.
8. Уязвимости порчи памяти.
9. Безопасность операционных систем.
10. Обратная разработка.
11. Безопасность умных устройств.

Программа:

1. Вводная часть: язык как система.
   • Когда появилась лингвистика.
   • Что изучает лингвистика.
   • Синхрония и диахрония.
   • Семиотика.
   • Свойства языковых знаков.
   • Омонимия и многозначность.
   • Многозначность на разных уровнях языка.
2. Происхождение, функционирование и развитие естественных языков
   • Происхождение языка.
   • От языка животных к языку людей.
   • Избыточность языкового знака.
   • Свойства естественного языка.
   • Функции языка.
   • Социальные формы существования языка.
   • Диалектный континуум.
   • Основные понятия лингвистической компаративистики.
   • Регулярные фонетические соответствия.
   • Глоттохронология.
   • Языковая систематика.
   • Генеалогическая классификация языков.
3. Языки мира.
   • Обзор языков мира.
   • Основные графические системы.
4. Грамматика и лексика
   • Лексическое и грамматическое значение.
   • Свойства грамматических значений.
   • Грамматикализация и деграмматикализация.
   • Грамматические категории.
   • Интегральное описание языка.
5. Фонетика.
   • Фонетика: основные понятия.
   • Артикуляционная классификация звуков.
   • Акустическая классификация звуков.
   • Фонология.
6. Морфология.
   • Морфема и морфемика.
   • Основные типы аффиксов.
   • Словообразование и словоизменение.
   • Основа и флексия.
   • Грамматические средства языка.
   • Типологическая классификация языков.
   • Историческая морфология.
7. Синтаксис.
   • Предложение и высказывание.
   • Синтаксические структуры:
   — непосредственно составляющие;
   — деревья зависимостей;
   — гибридные структуры.
   
   • Типы синтаксических отношений в модели «Смысл↔Текст».
   • Синтаксически размеченный корпус SynTagRus.
   • Свойства синтаксических отношений.
   • Свойства синтаксических структур.
   • Синтаксические признаки.
   • Гипотеза глубины.
8. Лексическая семантика.
   • История семантики.
   • Идеи современной семантики.
   • Омонимия и синонимия.
   • Омонимия и полисемия.
   • Типы полисемии.
   • Мышление и язык.
   • Языковая картина мира.
9. Лексикография.
   • История лексикографии.
   • Толковые словари.
   • Принципы системной лексикографии.
   • Естественные метаязыки:
   — Natural Semantic Metalanguage;
   — Московская семантическая школа.
   
   • Современные словари.
10. Корпусная лингвистика.
    • Лингвистика в докомпьютерную эпоху.
    • «Революция в лингвистике».
    • Корпуса текстов и корпусная лингвистика.
11. Машинный перевод
    • Правиловый машинный перевод: история.
    • Морфологический анализ в правиловом машинном переводе.
    • Компьютерный словарь в машинном переводе.
    • Трансфер в машинном переводе.
    • Начала автоматического семантического анализа.
    • Статистическая поддержка для правилового машинного перевода.

Программа:

1. Основные подходы и принципы современной криптографии. Модель противника, формализация понятия стойкости, задача оценки стойкости и сопутствующие проблемы, разделение на примитивы и протоколы, этапы жизни криптографической системы.
2. Блочные шифры. Основные параметры блочных шифров. Принципы построения. Сеть Фейстеля и LSX-схема. Модели PRP-CPA и PRP-CCA. Стойкость сетей Фейстеля с 1, 2 и 3 раундами. Общие подходы к анализу блочных шифров, принципы линейного криптоанализа. Модель PRF, PRP-PRF-Лемма.
3. Конфиденциальность Бытовые определения конфиденциальности, подходы к формализации (теоретико-информационная модель противника, модели KR, PR, LOR, ROR, IND, CPA, CC, симметричная система шифрования, применение теоретико-сложностных сведений для определения соотношения между моделями).
4. Режимы шифрования. Основные режимы шифрования: ECB, CBC, CFB, OFB, CTR. Основные эксплуатационные свойства. Стойкость CTR в LOR-CPA, нестойкость ECB в LOR-CPA. Нестойкость базовых режимов в CCA-моделях.
5. Целостность. Определение понятия целостности. Подходы к формализации (модель UF-CMA, модели на основе задачи различения, модель PRF). Коды аутентификации сообщений и функции выработки имитовставки. Конструкции на основе блочных шифров: CBC-MAC, XCBC, TMAC, OMAC. Уязвимые режимы.
6. Хэш-функции Определение, основные свойства, подходы к построению, формализация и сопутствующие проблемы. Примеры применения хэш-функций: хэширование паролей, извлечение энтропии. Построение коллизий и прообраза из множества малой мощности.
7. Схемы HMAC, KDF, PRF, DRNG. Схема HMAC, основные шаги получения оценки стойкости. Диверсификация ключа и принцип разделения ключей, схемы KDF и PRF. Псевдослучайный генератор, схемы DRNG.
8. Нагрузка на ключ. Проблема нагрузки на ключ. Основные методы уменьшения нагрузки на ключ: внешнее и внутреннее преобразования ключа. Схемы parallel и serial re-keying, основные свойства. Ключевое дерево. Внутренняя смена ключа и режим CTR-ACPKM.
9. Шифрование с имитозащитой. Формулировка задачи. Общие конструкции (EtA, AtE, A&E) и их свойства. Примеры уязвимых режимов обеспечения конфиденциальности и целостности с помощью одного ключа. AEAD-режимы шифрования: GCM, MGM.
10. Защищённый канал связи. Понятие защищённого канала связи: типы каналов, основные свойства (целостность и конфиденциальность потока данных). Примеры уязвимых протоколов. Протокол Record TLS.

Программа:

1. Введение: основы нейронных сетей, оптимизация, обратное распространение ошибки, биологические сети.
2. Работа с изображениями: линейная фильтрация, свёрточные сети, BatchNorm, аугментации.
3. Архитектуры свёрточных сетей и их поиск, трансферное обучение.
4. Плотное предсказание: семантическая сегментация, сверхразрешение, синтез изображений, перцепционные функции потерь.
5. Несвёрточные архитектуры: трансформеры для работы с изображениями, миксеры, свёртки с использованием FFT.
6. Визуализация и интерпретация глубоких архитектур, генерация атакующих примеров.
7. Обнаружение объектов, инстанс- и паноптическая сегментация.
8. Обучение представлений: распознавание лиц, задачи верификации, самообучение, обучение на малых данных, генерация подписей к изображениям, CLIP.
9. Генеративно-состязательные сети (GAN).
10. Латентные модели: оптимизация латентных представлений, автоэнкодеры, VQ-VAE.
11. Потоковые модели, диффузионные модели, генеративные трансформеры, DALL-E, мультимодальные приложения (текст-в-изображение).
12. Оценка формы и движения: пространственные трансформеры, оптический поток, стерео, моноглубина, генерация облаков точек, явные и полуявные представления формы.
13. Генерация новых видов: многоплоскостные изображения, нейронные поля излучения, представления на основе сеток и точек для NVS, нейронные рендереры.

Программа:

1. Введение. Что не так с распределёнными системами.
2. CAP-теорема, консистентность в распределённых системах.
3. Идемпотентность, двухфазный коммит и всё то, без чего нельзя говорить о распределённых системах.
4. Асинхронное взаимодействие в распределённых системах.
5. Высокоуровневые паттерны (CQRS, SAGA, каналы и фильтры).
6. Низкоуровневые паттерны (sidecar, ambassador).
7. Конкретное ПО для типовых задач в распределённых системах.
8. Domain-Driven Design и его применимость в распределённых системах.
9. Подходы к распилу монолита на отдельные компоненты.

Программа:

1. Цифровое изображение и тональная коррекция.
2. Основы обработки изображений.
3. Совмещение изображений.
4. Классификация изображений и поиск похожих.
5. Свёрточные нейросети для классификации и поиска похожих изображений.
6. Детектирование объектов.
7. Семантическая сегментация.
8. Перенос стиля и синтез изображений.
9. Распознавание видео.
10. Разреженная трёхмерная реконструкция.
11. Плотная трёхмерная реконструкция.
12. Реконструкция по одному кадру и облакам точек, параметрические модели.

Программа: 

1. Обзор задач ML, простые модели и метрики, работа с пропусками.
2. Вероятностные свойства линейной регрессии, регуляризация, GD, SGD.
3. Логистическая регрессия. Валидация ML-моделей, выбор гиперпараметров.
4. Доверительные интервалы и статистические критерии в линейных моделях.
5. Байесовский подход к регуляризации.
6. PCA, матричные разложения. Краткий обзор других методов: t-SNE, UMAP.
7. Решающие деревья и случайные леса.
8. Bias-variance-разложение. Градиентный бустинг.
9. Бустинг-2. Стеккинг.
10. Intro to DL.
11. Проблемы работы с нейронными сетями и их решения. Методы регуляризации в нейронных сетях.
12. Recurrent Neural Networks and language Models.
13. Работа с данными, обладающими структурой: изображения.

Программа:

1. Введение и основы языка. Стандарты С++. Компиляторы. Переменные, примитивные типы. Арифметические, логические, битовые операторы, операторы сравнения. Ввод и вывод. Функции, циклы, условия. Контейнеры и итераторы.
2. Указатели, ссылки и структуры. Массивы, указатели и ссылки. Операции с указателями. Время жизни объектов. Константность параметров. Структуры, перечисления. Передача параметров.
3. Классы. Структуры, методы, поля, переменная this. Константность методов, их аргументов, полей. Конструкторы, список инициализации, неявные преобразования. Инициализация по умолчанию. Модификаторы доступа.
4. Шаблоны, STL, λ-функции. Перегрузка функций и шаблонные функции. Шаблонные функции библиотеки STL. Шаблонные классы. Утиная типизация. Итераторы. Строки. λ-функции, список захвата и мутабельность. Концепты.
5. Динамическое управление памятью. Автоматические переменные. Время жизни объектов. Операторы new и delete. Деструкторы. Копирование и перемещение. Правило пяти. Владение.
6. Управление ресурсами. Rvalue-ссылки и move-семантика. Управление ресурсами. RAII (Resource Acquisition Is Initialization). Умные указатели. Эксклюзивное владение и разделяемое владение. Передача владения.
7. Наследование и полиморфизм. Имена и области видимости. Поиск имени. Наследование. Принцип подстановки Лисков. Модификаторы доступа. Полиморфизм. Динамический полиморфизм. Приведение типов.
8. Обработка ошибок и исключения. Флаги выполнения и коды возврата. Either/Result. Исключения. Иерархия исключений. Гарантии безопасности исключений.
9. Компиляция проектов. Сборка CMake. Модули.
10. Расположение объектов в памяти. Выравнивание. Структуры в памяти, Standard layout type (POD, Plain Old Data). Таблицы виртуальных функций. Выравнивание, операторы alignof и alignas. std:aligned_storage. Упаковка. Указатели на члены.
11. Паттерны проектирования. Порождающие паттерны: фабричный метод (Factory method), абстрактная фабрика (abstract factory), строитель (builder), cинглтон (singleton, одиночка). Структурные паттерны: мост (bridge), адаптер (adapter), компоновщик (composite). Поведенческие паттерны (behavioral): команда
(command).
12. Отладка в GDB.
13. Move-семантика. Variadic templates. Perfect forwarding.

Программа:

1. How complex system fail.
2. Системы, обслуживающие запросы.
3. Архитектура памяти.
4. Память в многопроцессорной системе.
5. Компьютерные сети.
6. Утилиты диагностики в командной строке Linux.
7. Циклические группы.
8. Практика работы SRE.
9. Monarch Google’s Planet-Scale In-Memory Time Series Database.
10. Security and resources.
11. Разбор драйверов Linux и внутреннее устройство eBPF.
12. Разбор задач и общих вопросов по SRE.
13. Linux scheduler.

Программа: 

1. Модель отказоустойчивости.
2. Репликация (kv abd, gossip).
3. Atomic broadcast, логические часы.
4. Консенсус, шардирование.
5. Paxos, Multi-Paxos.
6. RAFT.
7. GFS, BigTable.
8. Распределённые транзакции.
9. MapReduce.
10. Streaming.
11. TLA+.
12. CRDT.
13. Bitcoin.

Программа: 

1. Введение. Работа с данными в машинном обучении.
2. Общая концепция краудсорсинга. Декомпозиция задачи.
3. Проектирование интерфейсов и инструкций для краудсорсинговых проектов.
4. Контроль качества. Этапы и инструменты.
5. Автоматизация конвейера по сбору данных.
6. Проектная работа: сбор данных для обучения модели с целевым качеством.
7. Подходы к оптимизации бюджета.
8. Агрегация полученных результатов: категориальная разметка, попарная разметка, агрегация сложных ответов.
9. Human-in-the-loop и другие подходы к оптимизации процессов разметки.
10. Проектная работа: сбор данных для обучения модели с целевым качеством и ограничением по бюджету.
11. Оценка качества работы модели.
12. Сбор данных для дообучения.
13. Проектная работа: сбор данных для обучения и поддержания качества модели в условиях меняющегося мира.
14. Кейс-стади: работа с данными в Поиске, Алисе, Переводчике, Беспилотных технологиях и других продуктах.

Программа: 

1. Введение в теорию игр. Применение теоретико-игровых моделей в различных областях. Основные понятия: игрок, стратегия, платёж. Примеры игр в нормальной и развёрнутой форме. Случайный выбор (функция полезности фон Неймана-Моргенштерна).
2. Игры в развёрнутой форме. Дерево игры. Совершенная информация. Информационные множества. Случайный выбор (функция полезности фон Неймана-Моргенштерна).
3. Игры в нормальной форме. Построение нормальной формы игры по развёрнутой и обратно. Смешанные стратегии. Поведенческие стратегии. Игры с совершенной памятью. Связь между поведенческими и смешанными стратегиями.
4. Игры с одновременными ходами. Строгое и слабое доминирование. Последовательное исключение строго доминируемых стратегий. Примеры неинтуитивных профилей стратегий, остающихся после исключения по строгому доминированию.
5. Наилучший ответ. Последовательное исключение стратегий, не являющихся наилучшим ответом. Цепочка оправданий и рационализируемые стратегии.
6. Равновесие Нэша в чистых и смешанных стратегиях. Теоремы существования равновесия Нэша. Метод стакана для вычисления равновесий Нэша для игр с двумя игроками и 2*M стратегиями.
7. Игры с нулевой суммой. Минимакс и максимин. Осторожные стратегии и гарантированный результат. Седловая точка. Цена игры. Антагонистические игры. Связь цены игры и существования седловой точки. Седловая точка и равновесие Нэша. Склонность к риску.
8. Динамические игры. Неубедительные угрозы. Рафинирование равновесия Нэша. Равновесия, совершённые по подыграм. Метод обратной индукции в конечных играх с совершенной информацией. Дуополия Курно. Модель Штакельберга. Критика метода обратной индукции и равновесий, совершённых по подыграм.
9. Многопериодные игры с наблюдаемыми действиями. Принцип однократного отклонения. Повторяющиеся игры. Повторяющаяся конечное и бесконечное число раз дилемма заключённых. Делёж пирога. Последовательный торг по Рубинштейну.
10. Игры с неполной информацией. Дуополия Курно с неполной информацией, задача простого торга, вложение в общественное благо. Равновесие Байеса-Нэша.
11. Эксперимент. Ultimatum Bargaining Game (Guth et al. 1981).
12. Введение в теорию аукционов.
13. Мэтчинг, или теория паросочетаний (Matching theory) — бонусная лекция про женитьбу.

Программа:

1. Информация по Хартли в сообщении неизвестного исхода (двоичный логарифм количества возможных исходов). Информация в данном сообщении. Аддитивность информации при двух последовательных сообщениях. Применение информации по Хартли для получения верхних и нижних оценок в задачах сортировки (нижняя оценка для n монет, верхняя оценка для 5 монет) и поиска фальшивой монетки на чашечных весах (нижняя и верхняя оценка для n монет, верхняя оценка для 12 монет). Коммуникационные протоколы. Разбиение матрицы функции на прямоугольники. Метод трудных множеств, метод размера прямоугольников и метод ранга матрицы. Оценки этими методами коммуникационной сложности предикатов EQ, GT, DISJ, GT.
2. Определение энтропии Шеннона. Задача о префиксном кодировании. Неравенство Крафта. Теорема Макмиллана. Нижняя и верхняя оценки средней длины префиксного кода с помощью энтропии.
3. Сбалансированные коды. Код Шеннона — Фано и арифметический код.
4. Совместно распределённые случайные величины. Условная энтропия. Теорема об энтропии пары (она не превосходит суммы энтропий). Независимость и энтропия. Условная энтропия и её свойства (она неотрицательна и не превосходит безусловной энтропии, она равна разности двух безусловных).
5. Понятие количества информации и его свойства. Информационные неравенства: метод релятивизации, метод диаграмм. Общая информация тройки слов и пример, когда она отрицательна.
6. Базисное неравенство, неравенство треугольника. Цепное правило. Неравенство Шерера и вывод из него неравенства Лумиса — Уитни. Неравенство Ромащенко — Каседа и вывод из него неравенства для количества квадратов.
7. Марковская цепь и её свойство.
8. Теорема Шеннона об идеальном шифре. Неравенство Фано. Неравенство Фано для классификаторов. Количество слов с данными частотами. Сбалансированные слова и их количество.
9. Кодирование, основанное на частотах диграмм. Оценки количества слов с данным набором диграмм. Стационарные источники.
10. Теорема Шеннона о бесшумном канале. Теорема Вольфа — Слепяна (c доказательством).
11. Каналы с шумом и их пропускная способность. Теорема Шеннона о канале с шумом (без подробного доказательства). Игры по предсказанию битов данной последовательности. Мартингалы. Теорема об определении мартингалов стратегиями.
12. Предсказания с экспертами. Логарифмический штраф и предсказатель Соломонова.
13. Выпуклые функции штрафа. Условие Блэквела. Линейный, полиномиальный и экспоненциальный предсказатели.
14. PAC learning и размерность Вапника — Червоненкиса. Лемма Зауэра — Шелаха. Оценка качества эмпирически наилучшего предсказателя через количество концепций.
15. Декомпрессоры. Колмогоровская сложность и теорема Колмогорова — Соломонова. Оценка на число слов колмогоровской сложности не больше n. Неубывание колмогоровской сложности при алгоритмических преобразованиях. Невычислимость колмогоровской сложности и теорема Геделя о неполноте в форме Чейтина.
16. Неравенство для сложности пары. Условная сложность. Теорема Колмогорова — Левина о сложности пары. Количество информации.
17. Сложность и энтропия Шеннона. Теорема Ромащенко о совпадении классов неравенств.

Программа:

1. Введение, знакомство с языком.
2. Структуры данных. Типизация и модель памяти.
3. Детально про функции. Ввод-вывод, строки, файлы.
4. Функции-2. Пространства имён. Замыкания. Декораторы.
5. Data Science in Python: Analysis Pandas Matplotlib.
6. ООП, классы, Наследование, Перегрузка операций.
7. Пример работы с классами: дизайн системы обработки данных.
8. Исключения. Контекстные менеджеры. Модули.
9. Промышленная разработка на Python.
10. Итераторы и генераторы.
11. Архитектура Map Reduce.
12. ООП-2: метаклассы, дескрипторы.
13. Concurrency и Python.
14. WEB, HTTP, API.
15. Асинхронное программирование.
16. Ускорение Python, numpy, numba, pypy, cython.
17. Введение в ОС Linux.
18. Как писать модули для Python на C++.

Программа:

1. Зачем придуман Rust.
2. Владение объектами, время жизни и Borrow Checker.
3. Слайсы. Enums & pattern matching. Traits & dynamic dispatch.
4. Generics & static dispatch. Умные указатели.
5. Обработка ошибок.
6. Interior mutability. Dynamically sized types, any, unsized coercion.
7. Функциональные аспекты языка. Итераторы и замыкания.
8. Кодогенерация и макросы. Разбор крейтов на макросах: clap, serde.
9. Модули, библиотеки и модель компиляции. Тестирование. Cargo doc.
10. Многопоточное программирование.
11. Сетевое программирование. Логирование и метрики.
12. Async Rust. Разбор асинхронного фреймворка rio.
13. Tokio и его экосистема.
14. Разбор крейта Axum.
15. Unsafe Rust.
16. Embedded Rust
17. Chip8 на микроконтроллере.
18. Rust + Python.
19. Advanced lifetimes. Lifetime variance.
20. Rust в ядре Linux.

Программа: 

1. Word Embeddings. Materials: Word Embeddings:
   • Distributional semantics.
   • Count-based (pre-neural) methods.
   • Word2Vec: learn vectors.
   • GloVe: count, then learn.
   • Evaluation: intrinsic vs extrinsic
   • Analysis and Interpretability
2. • Text classification Materials: Text Classification
   • General Framework
   • Classical Approaches: Naive Bayes, MaxEnt (Logistic Regression), SVM
   • Neural Networks: RNNs and CNNs
   • Analysis and Interpretability
3. Language models Materials: Language
   • General Framework
   • N-Gram LMs
   • Neural LMs: RNNs, CNNs
   • Generation Strategies
   • Evaluating LMs
   • Practical Tips
4. Seq2seq and Attention Materials: Seq2seq and Attention
   • Encoder-decoder framework
   • Attention basics
   • Transformer: Attention is All You Need
   • Subword Segmentation (e.g., BPE)
   • Inference (e.g., beam search)
   • Practical Tips