Воркшоп “A/B testing” | Валерий Бабушкин

А/Б-тестирование в режиме реального времени - сегодня на #GoViralCA2021 - мастер-класс с Валерием Бабушкиным.
⠀
💡Что такое - А/Б-тесты?
⠀
Представьте, что у нас есть что-то новое. Алгоритм продаж, взаимодействие сотрудников. Как узнать, решает ли это наши задачи?
⠀
Если есть метрика, нужно уметь ее измерять.
⠀
❌ Как делать нельзя?
⠀
Смотрим, что было до внедрения чего-то. Что было после. Сравниваем. Вычитаем. Так делать плохо.
⠀
Почему? Возможно влияние каких-то совершенно внешних факторов.
⠀
✅ Как делать можно?
⠀
Делим данные на две группы. Максимально одинаковые. В одной группе вводим изменения - затем сравниваем.
⠀
👉 Помним про ошибки первого и второго рода. Когда мы делаем А/Б-тест, мы смотрим, есть ли эффект. Ошибка первого рода - признание, что эффект есть. Второго - что эффекта нет.
⠀
👉 Чем больше размер выборки, тем больше вероятность не допустить ошибок при прочих равных.
⠀
👉 Размер эффекта. Чем меньше эффекта мы хотим «поймать», тем сложнее это сделать.
⠀
Программируем. Отвечаем на вопросы. Размышляем.