Розмір вибірки й тривалість A/B-тесту в продукті

Maya

План тесту для paywall із тріалом на початку підписано. Запустімо на тиждень і прочитаємо в понеділок.

Alex Tutor

Тижня може вистачити, а може вийти підкидання монетки. Тривалість не обирають, її розраховують із чотирьох вхідних даних і одного факту про трафік.

Базовий рівень (baseline): як часто основна метрика трапляється зараз. Минулого кварталу 4,0% тих, хто вперше побачив paywall, оплатили протягом 14 днів. MDE (minimum detectable effect) — мінімальний ефект, який варто виявити. У плані це +1 п. п., з 4% до 5%.

Рівень значущості α = 5%, двобічний: ризик хибної перемоги, коли paywall нічого не змінює. Потужність (power) = 80%: шанс помітити справжні +1 п. п. Теорія — в уроці «Потужність і розмір вибірки».

Ви

А факт про трафік?

Alex Tutor

Скільки нових користувачів потрапляє в тест щотижня. До цього ще дійдемо.

Alex Tutor

Питання 1

Зіставте кожен вхідний параметр розрахунку з тим, що він означає для тесту paywall.

Оберіть відповідь для кожного рядка. Якщо обрати відповідь, яку вже використано, вона переміститься в цей рядок.

Базовий рівень
Оберіть відповідь
MDE
Оберіть відповідь
Рівень значущості α
Оберіть відповідь
Потужність
Оберіть відповідь

Alex Tutor

Для метрики-конверсії стандартна формула порівняння двох часток дає кількість користувачів на варіант. 1,96 — це z-значення для двобічного α = 5%, а 0,84 — для потужності 80%, тож перший множник (1,96 + 0,84)² = 7,84.

Alex Tutor

n = \frac{(z_{\alpha/2}+z_{\beta})^2\,\left[p_1(1-p_1)+p_2(1-p_2)\right]}{(p_2-p_1)^2}

Користувачі на варіант для порівняння двох конверсій: p₁ — базовий рівень, p₂ = p₁ + MDE. Округлюйте вгору.

Ви

Тобто p₁ = 0,04, а p₂ = 0,05. Усе інше вже є у формулі.

Alex Tutor

Так. Онлайн-калькулятори, зокрема наш, використовують трохи різні варіанти цієї формули, тож відповіді можуть відрізнятися на кілька користувачів. Близькі числа — це та сама відповідь.

Alex Tutor

Питання 2

Скільки користувачів на варіант потрібно для тесту paywall? Базовий рівень 4,0%, MDE +1 п. п., двобічне α = 5%, потужність 80%. Округліть угору до цілого користувача.

Ваша відповідь

Одиниці: користувачів на варіант

Alex Tutor

Тепер трафік. У тест потрапляють лише ті, хто бачить paywall уперше, — близько 3400 на тиждень на обидва варіанти разом.

Ви

13 470 ÷ 3400 = 3,96 тижня. Тобто майже рівно 28 днів.

Alex Tutor

Округлюємо вгору до цілих тижнів у будь-якому разі: 4. У Halves тижневий ритм. Оренду ділять у вихідні, поїздки починаються в п'ятницю. Тест, який зупинився в середу, перебільшує вагу якихось днів.

І ще одне: метрика — «оплатив протягом 14 днів». Останньому користувачеві, який потрапить у тест на 28-й день, потрібно ще 14 днів, перш ніж його можна буде зарахувати.

Maya

То коли я насправді отримаю відповідь?

Alex Tutor

Питання 3

Скільки календарних тижнів мине від запуску тесту до читання результату? Набір триває цілими тижнями по 3400 нових користувачів на тиждень, і кожному потрібне повне 14-денне часове вікно.

Ваша відповідь

Одиниці: тижнів

Theo

Шість тижнів, щоб побачити +1 п. п. А чому не цілитися в +0,5 п. п.? Кожен долар доходу важить.

Ви

Удвічі менший ефект — отже, удвічі більше користувачів?

Alex Tutor

Більше. Ефект у знаменнику стоїть у квадраті: зменште MDE удвічі — і користувачів потрібно приблизно вчетверо більше. Порахуйте для 4,0% → 4,5%.

Alex Tutor

Питання 4

Той самий тест, але MDE — +0,5 п. п. (4,0% → 4,5%). Скільки користувачів на варіант? Округліть угору.

Ваша відповідь

Одиниці: користувачів на варіант

Maya

Шістнадцять тижнів — це цілий сезон. Ні.

Alex Tutor

Ось і компроміс. MDE визначає те, що варто запускати, і те, що дозволяє трафік, а не бажання. Якщо ефект, який вас цікавить, замалий, щоб його знайти, тестуйте сміливішу зміну.

Ви

А базовий рівень? Чи важливо, з яких користувачів його взято?

Alex Tutor

Дуже. Беріть його з тих самих людей, які потраплять у тест: тих, хто вперше бачить paywall, а не всіх користувачів. За базового рівня 8% ті самі +1 п. п. потребували б 12 192 на варіант, майже вдвічі більше.

Alex Tutor

Питання 5

Яка зміна зменшує кількість користувачів, потрібну для тесту paywall?

Оберіть одну відповідьПідвищити потужність з 80% до 90%Знизити α з 5% до 1%Ділити трафік 90/10 замість 50/50Встановити MDE +1,5 п. п. замість +1 п. п.

Maya

Гаразд, але що не так з одним тижнем? Було б 1700 користувачів на варіант. Це ж багато людей.

Alex Tutor

Людей багато, а доказів мало. З 1700 на варіант справжні +1 п. п. проявилися б лише приблизно в 29% випадків. Найімовірніше, ми побачили б «незначущий» результат і помилково назвали б paywall некорисним.

Ви

А якщо перший тиждень випадково виглядатиме чудово, зупинитися тоді — це пастка підглядання.

Alex Tutor

Питання 6Коротка відповідь · Завдання з перевіркою ШІ

Maya питає: «Чому не можна просто прогнати тест paywall один тиждень?» Дайте їй відповідь у 3–5 реченнях, з числами з цього уроку й хоча б одним чесним способом отримати відповідь швидше.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Отже, шість тижнів. Запишіть дату читання результату в план уже зараз, щоб ні в кого не виникало спокуси прочитати його раніше.

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Хто потрапляє в тест