Что в программе
«На интенсиве мы изучим передовые подходы к A/B‑тестированию, инструменты и методики тестирования и анализа результатов, которые вы сможете использовать в своих рабочих проектах.»
18:00 мск
Лекция 1. Статистика для A/B‑тестов: важные на практике распределения, параметры и оценки, гипотезы и статистические критерии, t‑критерий Стьюдента
Основы прикладной статистики. Проверка гипотез. Статистические критерии: z-test, t-test, Манн-Уитни
18:00 мск
Лекция 2. Ошибки I и II рода, MDE (минимальный детектируемый эффект). Одновыборочный критерий Колмогорова — Смирнова. Тест Шапиро — Уилка. Синтетические АА‑тесты для проверки валидности статистического критерия
Метод Монте‑Карло для синтетических и исторических данных. Критерий Шапиро‑Уилка. Критерий однородностиКолмогорова‑Смирнова
18:00 мск
Лекция 3. Сравнение распределения двух выборок: двухвыборочный критерий Колмогорова — Смирнова, тест Манна — Уитни. Метрики отношения. Мощность теста и сравнение критериев между собой (синтетические А/B‑тесты)
Бакетирование, бутстрап, линеаризация, дельта‑метод
18:00 мск
Лекция 4. Доверительные интервалы для метрик отношения, процентных изменений (uplift), персентилей. Методы повышения чувствительности метрик: работа с выбросами, CUPED
Процентных изменений (uplift), персентилей: аналитическиеи бутстрапированные
18:00 мск
Лекция 5. Методы повышения чувствительности метрик: стратификация, постстратификация. Проблема множественного тестирования. Проблема подглядывания и групповой последовательный тест (GST). Альтернативный метод работы с данными — Байес. Флоу анализа A/B‑тестов
Стратификация, CUPED