4 продвинутых способа улучшить ваши А/Б-тесты без формул (почти). Муслим Бабаев

Я рассказываю о том, как казалось бы правильными подходами к A/B тестированию можно запороть эксперимент. Дело в том, что за продвинутыми инструментами лежит сложная логика, о которой часто забывают.

Вы узнаете про неочевидные способы повысить мощность экспериментов, которые при неправильной интерпретации можно воспринять как противоречащие общепринятым нормам проведения АБ-тестов.

Видео больше подойдёт опытным аналитикам, но и начинающим специалистам будет что почерпнуть

00:00 - Вводная часть
00:20 - Коротко обо мне
01:11 - План доклада
01:54 - Ошибка 1. Проводить АБ-тест ровно столько, сколько дизайнили
07:37 - Ошибка 2. Принимать решение по одному значению p-value
15:25 - Ошибка 3. Смотреть метрики тоталов за период
21:29 - Ошибка 4. Всегда делать поправку на множественные сравнения
24:27 - Секция вопросов

Оригинальное название доклада: «А и Б сидели на трубе. Как понять, кому сиделось лучше». Автор доклада - Муслим Бабаев, выступил на митапе Okko «Аналитики, please stand up»

#аналитика #продуктоваяаналитика #статистика #конференция