Значимый A/B‑тест завышает рост. Считаем, во сколько раз
Full story
An A/B test produced a 6% lift in conversion with a p-value of 0.03, and the team is putting that result into its business forecast. But when an experiment has low power, random noise can substantially inflate the estimated effect. The article looks at the winner's curse, how much it distorts results, and which methods can give a more realistic estimate.
A/B‑тест показал +6% к конверсии при p‑value 0,03, и команда закладывает результат в бизнес‑прогноз. Но при низкой мощности эксперимента случайный шум может существенно завышать оценку эффекта. В статье разбираем, как работает проклятие победителя, насколько сильно оно искажает результаты и какие методы помогают получить более реалистичную оценку. Разбираем A/B-тесты