Калькулятор A/B-теста онлайн

МЕТОДИКА

Как работает калькулятор a/b-теста

Пример

В условном примере A: 100 из 1 000, B: 130 из 1 000. Конверсия выросла с 10% до 13%: разница +3 процентных пункта, относительный прирост +30%. Двустороннее p-value около 0,035.

Что проверяет тест

Нулевая гипотеза предполагает одинаковую вероятность конверсии вариантов. Малое p-value показывает, что наблюдаемая или более сильная разница маловероятна при этой гипотезе и выполнении условий теста. Это не вероятность того, что B лучше A.

Условия корректного сравнения

Нужны случайное распределение, независимые группы, одна метрика и заранее выбранный момент остановки. Для нормального приближения здесь требуется не менее 10 конверсий и 10 неконверсий в каждой группе. При меньших числах итог о значимости не выводится: нужен точный метод или больше наблюдений.

Как принимать решение

Смотрите не только на p-value, но и на величину эффекта, стоимость внедрения и вторичные метрики. 95% интервал разницы рассчитан методом Вальда с непулированной дисперсией, а тест — с пулированной. Эти приближения могут немного различаться у границы значимости. Многократные проверки и ранняя остановка увеличивают риск ошибочного решения.

Частые вопросы