Кейс: читаємо завершений тест
Ефект, інтервал, guardrail-метрики і рішення.
Урок 20 з 32~29 хв навчанняЗ них ~20 хв на запитання та завдання
Зміст1 із 37 кроків
Maya
Theo
Alex Tutor
Alex Tutor
Набір даних · 16 рядків
Тест paywall Halves: control проти trial_first
Користувачі, включені в момент першого перегляду paywall, 3–30 серпня 2026 року; кожного спостерігали 14 днів. Один рядок на тиждень включення, платформу й варіант.
- Стовпці
- enroll_week
- Понеділок тижня, коли користувачі потрапили в тест
- platform
- ios або android
- variant
- `control` (поточний paywall) або `trial_first` (починається з 7-денного тріалу)
- users
- Включені користувачі
- trials_started
- Користувачі, які почали тріал протягом 14 днів (другорядна)
- paid_14d
- Користувачі з першою оплатою протягом 14 днів (основна)
- active_days_8_14
- Користувачі, які додали витрату на 8–14-й день (guardrail)
Дані
| enroll_week | platform | variant | users | trials_started | paid_14d | active_days_8_14 |
|---|---|---|---|---|---|---|
| 2026-08-03 | ios | control | 1002 | 82 | 43 | 623 |
| 2026-08-03 | ios | trial_first | 974 | 161 | 59 | 601 |
| 2026-08-03 | android | control | 715 | 66 | 27 | 429 |
| 2026-08-03 | android | trial_first | 720 | 108 | 33 | 430 |
| 2026-08-10 | ios | control | 1009 | 88 | 39 | 612 |
Показати ще 11 рядків
| 2026-08-10 | ios | trial_first | 963 | 117 | 57 | 582 |
| 2026-08-10 | android | control | 714 | 60 | 23 | 398 |
| 2026-08-10 | android | trial_first | 681 | 90 | 26 | 420 |
| 2026-08-17 | ios | control | 1041 | 82 | 39 | 632 |
| 2026-08-17 | ios | trial_first | 1027 | 163 | 61 | 611 |
| 2026-08-17 | android | control | 709 | 57 | 27 | 423 |
| 2026-08-17 | android | trial_first | 654 | 117 | 24 | 408 |
| 2026-08-24 | ios | control | 992 | 98 | 40 | 634 |
| 2026-08-24 | ios | trial_first | 1065 | 150 | 64 | 636 |
| 2026-08-24 | android | control | 715 | 54 | 22 | 424 |
| 2026-08-24 | android | trial_first | 708 | 98 | 21 | 428 |
Ви
Alex Tutor
Ви
paid_14d і users для кожного варіанта й ділимо.Alex Tutor
Питання 1
Скористайтеся датасетом. Яка частка користувачів control оплатила протягом 14 днів? Відповідь у відсотках, до сотих.
Одиниці: %
Alex Tutor
Ви
Alex Tutor
Theo
Alex Tutor
Alex Tutor
Питання 2
Який ефект за основною метрикою, тест − контроль, у відсоткових пунктах? До сотих.
Одиниці: п. п.
Alex Tutor
Alex Tutor
Ви
Alex Tutor
Питання 3
Обчисліть нижню межу 95% інтервалу для «тест − контроль» у відсоткових пунктах. Візьміть p_T = 5,08%, p_C = 3,77% та інтервали Вілсона вище. До сотих.
Одиниці: п. п.
Alex Tutor
active_days_8_14: 60,53% у control, 60,60% у trial_first, +0,07 п. п., інтервал від −1,57 до +1,70 п. п. Запас був −3 п. п.Ви
Alex Tutor
Питання 4
Застосуйте правило рішення з плану: запускаємо, якщо інтервал основної метрики повністю вище за 0, а інтервал guardrail-метрики вище за −3 п. п. Яке рішення?
Maya
Alex Tutor
Theo
Alex Tutor
Alex Tutor
Питання 5Коротка відповідь · Завдання з перевіркою ШІ
Theo пропонує запустити trial_first лише на iOS, «бо Android нічого не показує». Дайте йому відповідь у 2–4 реченнях.
Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.
Увійдіть, щоб отримати відгук ШІMaya
Ви
Alex Tutor
Alex Tutor
Питання 6Кейс · Завдання з перевіркою ШІ
Напишіть підсумок тесту paywall для Maya.
Halves тестував два paywall для Halves Plus протягом 4 тижнів (3–30 серпня 2026 року): control (поточний) і trial_first (починається з 7-денного безкоштовного тріалу). Користувачі потрапляли в тест у момент першого перегляду paywall, поділ 50/50, і кожного спостерігали 14 днів. Датасет — вище.
План, записаний до запуску:
- Основна метрика: оплата протягом 14 днів (
paid_14d÷users). Найменший ефект, заради якого варто запускати: +1 п. п.; розрахунок на 6735 користувачів на варіант (базовий рівень 4,0%, α = 5%, потужність 80%). - Guardrail: додав витрату на 8–14-й день (
active_days_8_14÷users), запас −3 п. п. - Другорядна: розпочаті тріали.
- Правило: запускаємо, якщо 95% інтервал для «тест − контроль» за основною метрикою повністю вище за 0, а інтервал guardrail-метрики вище за −3 п. п.
Напишіть підсумок для Maya (150–300 слів): ефект за основною метрикою з інтервалом, чи мав тест потужність, на яку його розраховували, guardrail-метрика, що показують і чого не показують числа тріалів і платформ, рішення і одна-дві речі, за якими варто стежити після запуску.
Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.
Увійдіть, щоб отримати відгук ШІAlex Tutor
На цьому все. Ви відповіли на всі завдання — чудова робота.