Скачать или смотреть Учебное пособие по науке о данных: эксперименты с эффектами перетока

Эффекты перетока в A/B-тестировании: навык в науке о данных, который отличает младших специалистов от старших.

Большинство аналитиков данных изучают эксперименты на уровне пользователей, где рандомизация работает — при участии тысяч пользователей экспериментальная и контрольная группы сбалансированы как по наблюдаемым, так и по ненаблюдаемым характеристикам.

Но старшим аналитикам данных необходимо работать с кластерными экспериментами с эффектами перетока. Когда вы аналитик данных, проводящий A/B-тестирование в городах, магазинах или на рынках, вы работаете с небольшими выборками. Возможно, это 40 географических единиц вместо 40 000 пользователей в вашем A/B-тестировании.

Именно здесь методы причинно-следственной связи становятся критически важными для науки о данных. В этом руководстве по экспериментированию я смоделировал 40 рынков с различной сезонностью. Даже при небольшом количестве кластеров оценка разницы разностей остается несмещенной.

Когда я повторно рандомизирую назначение воздействия для A/B-тестирования, где истинный эффект равен нулю, оценки причинно-следственной связи остаются плотно центрированными вокруг нуля.

Этот подход к экспериментальному дизайну отличает специалистов по анализу данных, проводящих только базовые A/B-тесты, от тех, кто разрабатывает строгие эксперименты с причинно-следственным выводом. В этой серии статей по анализу данных я покажу вам методы экспериментирования для работы с перетоками и в случаях, когда одной рандомизации недостаточно.

Это продвинутая методология анализа данных для решения реальных экспериментальных задач.

Коучинг и ссылки на все каналы в социальных сетях: https://www.whatstheimpact.com

#datascience #dataanalyst #datasciencetutorial #abtesting #causalinference #experimentation #dataanalysis #datascientist