Никита Маршалкин: A/B-тесты сложнее, чем кажется | Интервью | karpov.courses

Симулятор A/B-тестов: http://bit.ly/40uPpjt

У нас гостях Никита Маршалкин, Data Scientist Вконтакте. Мы обсудили, как устроены A/B-тесты в компании, а именно:

● как работают системы сплитования;
● работают ли обычные статистические тесты на Big Data и какие подводные камни там есть;
● особенности A/B-тестов в социальных сетях;
● где научиться мастерски проводить A/B-тестирование.

А/Б-тесты, подборка от Никиты:
1. Бомбическая книжка: https://experimentguide.com
2. Кладезь информации про А/Б в индустрии: https://exp-platform.com
3. Practitioner’s Guide to Statistical Tests:   / practitioners-guide-to-statistical-tests  
4. Пуассоновский бутстрап и бакетизация: https://research.google/pubs/pub43157/
5. Эксперименты в соцсетях: https://arxiv.org/abs/1404.7530
6. Заметки с саммита по экспериментам на KDD’19: https://research.fb.com/publications/...
7. Туториал по построению оптимизации в b2c продуктах: https://onlineuserengagement.github.io/

Учитесь Data Science с нами: https://karpov.courses/

00:00 Что такое A/B-тесты
03:02 Системы сплитования
12:55 Экосистема A/B-тестов ВКонтакте
16:50 Тонкости тестирования на проде
18:55 Проверка гипотез на Big Data
23:25 Bootstrap
27:34 A/B-тесты без A/B-тестов
30:10 Ухудшающие A/B-тесты
31:55 Можно ли принимать решения без A/B-тестов ?
33:38 Кто те люди, которые занимаются A/B-тестами?
34:55 Материалы и знания, которых нигде нет!