Калькулятор A/B теста

Как понять, что A/B тест дал результат

Если у одного объявления CTR 4%, а у другого 4,7%, это еще не значит, что второе лучше. При небольшом количестве показов такая разница легко получается случайно. Калькулятор проверяет, насколько вероятно, что разница настоящая.

Как пользоваться

1. Выберите, что сравниваете: CTR (показы и клики) или конверсию (клики и конверсии).
2. Введите данные обоих вариантов за один и тот же период.
3. Смотрите на уверенность. Обычно решение принимают при 95% и выше.

Частые ошибки в тестах

• Остановить тест через пару дней, как только один вариант вырвался вперед.
• Сравнивать варианты за разные периоды, например будни и выходные.
• Менять несколько вещей сразу: тогда непонятно, что именно сработало.

Калькулятор использует двусторонний z-тест для двух долей. Это стандартный способ проверки для CTR и конверсии.