Если софт для A/B-тестирования показывает статистически значимые результаты, вы должны закончить испытания, не так ли? В большинстве случаев это было бы верно, но если вам не хватает конверсий на каждой переменной, не стоит останавливать испытания.

Нил предлагает в данном случае руководствоваться его эмпирическим правилом: каждая вариация должна получить как минимум 100 конверсий, а тест нужно вести не меньше двух недель.

Три года назад его команда выполняла тестирование проекта Crazy Egg и провела около семи тестов в течение пяти месяцев. Результаты A/B-тестирования показали увеличение конверсии на 41%. Но доходы при этом не увеличились.

Почему? Потому что они не выполняли каждый тест достаточно долго. Не самая удачная идея — останавливать тест, когда у выигрышного варианта 41 переход, а у проигрышного — 15. Особенно если испытание длилось всего несколько дней.

В долгосрочной перспективе эти результаты не принесли дохода компании. Так что тестируйте варианты посадочных страниц достаточно долго.