Калькулятор розміру вибірки для A/B-тесту

Калькулятор планує класичний A/B-тест конверсії: два варіанти, однакова кількість учасників у кожному, один результат «так або ні» на учасника й один аналіз наприкінці.

Він використовує нормальне наближення для двох незалежних часток із двостороннім тестом і без поправки на неперервність. Результат визначають чотири речі: базова конверсія, найменший ефект, який ви хочете виявити, рівень значущості та потужність.

Найбільше важить ефект. Якщо зменшити його вдвічі, вибірка зросте приблизно вчетверо, тому реалістичний мінімальний ефект є найважливішим параметром.

Сторінка оформлення замовлення конвертує 5% відвідувачів. Команда хоче виявити відносний приріст 10%, тобто 5,5%: різниця становить 0,5 відсоткового пункта. За рівня значущості 5% і потужності 80% кожному варіанту потрібно 31 234 учасники, разом 62 468.

Якщо в експеримент потрапляє 1000 учасників на день на обидва варіанти, набір триватиме близько 63 днів. Якщо це задовго, чесні варіанти такі: сміливіша зміна, здатна дати більший ефект, сторінка з більшим трафіком або метрика з вищою базовою конверсією.

Зверніть увагу на одиниці: відносний приріст 10% від 5% дає 5,5%. Приріст на 10 відсоткових пунктів від 5% дає 15%, і це зовсім інший експеримент.

• Один бінарний результат на учасника: конверсія відбулася або ні. Для виручки та інших неперервних метрик потрібен інший метод.
• Учасників рандомізовано незалежно й пораховано один раз. Перегляди сторінок, сесії та повторні візити не є учасниками.
• Фіксований розмір вибірки з одним аналізом наприкінці. Послідовне тестування та дострокова зупинка потребують іншого дизайну.
• Два варіанти з розподілом 50/50. Більше варіантів або нерівний розподіл калькулятор не охоплює.
• Результат отримано наближеним методом. За дуже малих або дуже великих конверсій і малої кількості учасників він не працює, і калькулятор не показує числа.
• Оцінка часу охоплює лише набір учасників. Вона не враховує затримку між входом у тест і конверсією.

Результат подано на варіант чи загалом?

Показано обидва числа. Головне число стосується одного варіанта: стільки учасників потрібно і для A, і для B. Загальна кількість удвічі більша.

Чим відносний приріст відрізняється від відсоткових пунктів?

Відносний приріст є часткою від базової конверсії: +10% від 5% дає 5,5%. Відсоткові пункти додаються до базової конверсії: +10 пунктів від 5% дають 15%. Якщо їх сплутати, розмір вибірки зміниться в багато разів, тому калькулятор завжди показує зміну в обох одиницях.

Що означає потужність 80%?

Якщо справжній ефект дорівнює введеному, приблизно 80 зі 100 таких експериментів покажуть статистично значущий результат. Решта 20 його пропустять. Потужність нічого не каже про ймовірність того, що новий варіант кращий.

Яке значення денного трафіку вводити?

Кількість нових учасників на день, які можуть потрапити в цей експеримент, разом для обох варіантів. Не враховуйте тих, хто не відповідає умовам або не входить у тест, і рахуйте кожну людину один раз.

Чому інші калькулятори показують інше число?

Калькулятори відрізняються формулою, одно- чи двостороннім тестом, поправками на неперервність і округленням. Порівнюйте результати лише за однакових припущень. Різниця в кілька відсотків між методами є нормальною.

• Калькулятор результатів A/B/n-тесту

  Аналіз результатів завершеного тесту з трьома–шістьма варіантами.

• Калькулятор мінімального виявлюваного ефекту

  Пошук найменшого ефекту, який тест може виявити з вашим трафіком і часом.