1.1
Раз в неделю
появляются
новые кейсы,
где используется
наш инструмент
Одна из распространённых проблем ML-моделей — они демонстрируют хорошее качество на обучении, но после деплоя начинают давать некорректные результаты.
Это происходит из-за изменений в данных: модель устаревает. При этом явных ошибок нет — сервис работает, но его полезность снижается.
Поэтому сложно понять, когда нужно вмешаться, например, откалибровать или переобучить модель.
Я неоднократно сталкивалась с этой проблемой в разных индустриях и искала инструменты для мониторинга качества моделей, но готовых решений не нашла.
Так появилась идея создать стартап, который решает эту задачу.
В Evidently AI мы разрабатываем инструменты для тестирования, валидации и мониторинга моделей машинного обучения.
Наш инструмент сравнивает данные из обучения или валидации с новыми продакшн-данными и показывает, как изменилась среда, в которой работает модель.
Изначально мы разрабатывали его для текстовых и табличных данных, но постоянно появляются неожиданные сценарии использования — например, в анализе аудиоданных. Это всегда захватывающе!
Ещё мы придумали решение для тестирования различных ИИ‑ассистентов и приложений. Оно генерирует синтетические данные, симулирующие запросы пользователей.
Мы создаём сценарии и вопросы и проверяем, как ассистент реагирует на нестандартные ситуации. Например, клиент просит скидку, а бот соглашается, хотя этого быть не должно.
Эти риски можно протестировать до запуска сервиса в продакшн с помощью наших датасетов.