Як читати результати A/B-тесту: ефект, інтервал, рішення

Maya

Тест paywall завершено! Ставлю «Тріали +74%» у презентацію для всієї команди.

Theo

А на iOS окремо плюс 2 пункти. Може, спершу запустимо там?

Alex Tutor

Прочитаймо в тому порядку, який план зафіксував шість тижнів тому: перевіряємо поділ, потім основну метрику з інтервалом, потім guardrail-метрику, потім правило. Тріали й платформи — наприкінці.

Alex Tutor

Набір даних · 16 рядків

Тест paywall Halves: control проти trial_first

Користувачі, включені в момент першого перегляду paywall, 3–30 серпня 2026 року; кожного спостерігали 14 днів. Один рядок на тиждень включення, платформу й варіант.

Завантажити CSV

Стовпці
enroll_week: Понеділок тижня, коли користувачі потрапили в тест
platform: ios або android
variant: `control` (поточний paywall) або `trial_first` (починається з 7-денного тріалу)
users: Включені користувачі
trials_started: Користувачі, які почали тріал протягом 14 днів (другорядна)
paid_14d: Користувачі з першою оплатою протягом 14 днів (основна)
active_days_8_14: Користувачі, які додали витрату на 8–14-й день (guardrail)

Дані

enroll_week	platform	variant	users	trials_started	paid_14d	active_days_8_14
2026-08-03	ios	control	1002	82	43	623
2026-08-03	ios	trial_first	974	161	59	601
2026-08-03	android	control	715	66	27	429
2026-08-03	android	trial_first	720	108	33	430
2026-08-10	ios	control	1009	88	39	612

Показати ще 11 рядків

2026-08-10	ios	trial_first	963	117	57	582
2026-08-10	android	control	714	60	23	398
2026-08-10	android	trial_first	681	90	26	420
2026-08-17	ios	control	1041	82	39	632
2026-08-17	ios	trial_first	1027	163	61	611
2026-08-17	android	control	709	57	27	423
2026-08-17	android	trial_first	654	117	24	408
2026-08-24	ios	control	992	98	40	634
2026-08-24	ios	trial_first	1065	150	64	636
2026-08-24	android	control	715	54	22	424
2026-08-24	android	trial_first	708	98	21	428

Спершу поділ. 6897 користувачів у control, 6792 у trial_first. За призначення 50/50 такий розрив нормальний: перевірка хі-квадрат дає 0,81, значно менше за 3,84. Великий перекіс означав би зламане призначення, і тоді решту не варто й читати.

Ви

А як виглядав би зламаний поділ?

Alex Tutor

Щось на кшталт 7400 проти 6300. Зазвичай це баг: один варіант падає на старих телефонах або записує частину користувачів двічі. Його виправляють і перезапускають тест, а не тлумачать результат.

Ви

Далі основна: сумуємо paid_14d і users для кожного варіанта й ділимо.

Alex Tutor

Питання 1

Скористайтеся датасетом. Яка частка користувачів control оплатила протягом 14 днів? Відповідь у відсотках, до сотих.

Ваша відповідь

Одиниці: %

Alex Tutor

trial_first, ті самі суми: 345 з 6792, тобто 5,08%.

Ви

То ефект — це 5,08 − 3,77 чи 5,08 ÷ 3,77?

Alex Tutor

Ефект — це завжди тест − контроль, у відсоткових пунктах. Відношення — це відносний приріст, і його треба так і підписувати.

Theo

Пункти звучать скромніше, ніж відсотки.

Alex Tutor

Саме тому в підсумку завжди пишуть, що мається на увазі.

Alex Tutor

Питання 2

Який ефект за основною метрикою, тест − контроль, у відсоткових пунктах? До сотих.

Ваша відповідь

Одиниці: п. п.

Тепер інтервал. Для кожної частки беремо інтервал Вілсона (Wilson). Він добре працює, коли частки малі, як 4%, де проста формула «±» може вводити в оману.

Alex Tutor

\frac{p + \frac{z^2}{2n} \pm z\sqrt{\frac{p(1-p)}{n} + \frac{z^2}{4n^2}}}{1 + \frac{z^2}{n}}

95% інтервал Вілсона для частки p = x / n, z = 1,96. Control: від 3,35% до 4,25%. trial_first: від 4,58% до 5,63%.

Для різниці поєднуємо два інтервали Вілсона. Кожна межа ефекту бере відповідні відстані від обох часток. Наш калькулятор результатів A/B-тесту використовує той самий метод.

Alex Tutor

L = d - \sqrt{(p_T - L_T)^2 + (U_C - p_C)^2}, \quad U = d + \sqrt{(U_T - p_T)^2 + (p_C - L_C)^2}

Інтервал для d = p_T − p_C (тест − контроль) з інтервалів Вілсона [L_T, U_T] і [L_C, U_C].

Ви

Тобто для нижньої межі: наскільки trial_first може бути нижчим і наскільки control може бути вищим.

Alex Tutor

Питання 3

Обчисліть нижню межу 95% інтервалу для «тест − контроль» у відсоткових пунктах. Візьміть p_T = 5,08%, p_C = 3,77% та інтервали Вілсона вище. До сотих.

Ваша відповідь

Одиниці: п. п.

Alex Tutor

Основна: +1,31 п. п., 95% інтервал від +0,62 до +2,00 п. п. Тест розраховували на 6735 користувачів на варіант, щоб помітити +1 п. п., і в обох варіантах набрали більше. Він мав ту потужність, на яку його будували.

Guardrail, active_days_8_14: 60,53% у control, 60,60% у trial_first, +0,07 п. п., інтервал від −1,57 до +1,70 п. п. Запас був −3 п. п.

Ви

Отже, це не «жодного впливу на використання». Це «будь-яке падіння менше за те, яке ми погодилися прийняти».

Alex Tutor

Питання 4

Застосуйте правило рішення з плану: запускаємо, якщо інтервал основної метрики повністю вище за 0, а інтервал guardrail-метрики вище за −3 п. п. Яке рішення?

Оберіть одну відповідьНепевно: інтервал містить +1 п. п., тож тест треба повторитиЗапускаємо trial_first для всіх користувачівЗапускаємо лише на iOSНе запускаємо: різниця за guardrail-метрикою незначуща

Maya

Гаразд, запускаємо. Але чи можу я все ж сказати «тріали +74%»? Звучить набагато краще.

Alex Tutor

Це другорядна метрика та ще й відносний приріст. Твердження — це основна метрика: +1,31 п. п., з 3,77% до 5,08%, інтервал від +0,62 до +2,00. Тріали пояснюють, як це спрацювало, а не чи спрацювало.

Theo

А платформи? На iOS +2,00 п. п., на Android +0,29 п. п. з інтервалом від −0,69 до +1,28.

Alex Tutor

Тест не розраховували на платформи, а правило стосується всіх користувачів. Інтервал Android містить і 0, і +1 п. п.: це непевний результат, а не «немає ефекту». Варто перевірити окремо, але не ухвалювати окреме рішення.

Alex Tutor

Питання 5Коротка відповідь · Завдання з перевіркою ШІ

Theo пропонує запустити trial_first лише на iOS, «бо Android нічого не показує». Дайте йому відповідь у 2–4 реченнях.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Maya

Я перешлю підсумок усій команді. Коротко, з числами, і так, щоб я могла відповісти, коли хтось спитає: «Ви впевнені?»

Ви

А числа, які ми ще не рахували, як-от інтервал для тріалів?

Alex Tutor

Той самий метод, той самий датасет, якщо хочете. Але рішення вони не змінять.

Тоді напишіть його так, як читається план: основна метрика з інтервалом, потужність, guardrail-метрика, спокусливі числа на своєму місці, рішення і за чим стежити далі.

Alex Tutor

Питання 6Кейс · Завдання з перевіркою ШІ

Напишіть підсумок тесту paywall для Maya.

Halves тестував два paywall для Halves Plus протягом 4 тижнів (3–30 серпня 2026 року): control (поточний) і trial_first (починається з 7-денного безкоштовного тріалу). Користувачі потрапляли в тест у момент першого перегляду paywall, поділ 50/50, і кожного спостерігали 14 днів. Датасет — вище.

План, записаний до запуску:

Основна метрика: оплата протягом 14 днів (paid_14d ÷ users). Найменший ефект, заради якого варто запускати: +1 п. п.; розрахунок на 6735 користувачів на варіант (базовий рівень 4,0%, α = 5%, потужність 80%).
Guardrail: додав витрату на 8–14-й день (active_days_8_14 ÷ users), запас −3 п. п.
Другорядна: розпочаті тріали.
Правило: запускаємо, якщо 95% інтервал для «тест − контроль» за основною метрикою повністю вище за 0, а інтервал guardrail-метрики вище за −3 п. п.

Напишіть підсумок для Maya (150–300 слів): ефект за основною метрикою з інтервалом, чи мав тест потужність, на яку його розраховували, guardrail-метрика, що показують і чого не показують числа тріалів і платформ, рішення і одна-дві речі, за якими варто стежити після запуску.

Дані для завдання: Тест paywall Halves: control проти trial_first

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Зверніть увагу, що зробило це простим: на кожне питання відповідь записали ще до того, як з'явилися дані. Прочитати тест означало просто звірити числа з планом.

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Чесне порівняння версій