Курси Інструменти Глосарій Блог Що планується

EN UK

Увійти

Назад до курсу

Продуктова аналітика: від даних до рішень
Чи спрацювала зміна?

Гіпотеза, метрика і правило рішення

Записати тест до того, як він почнеться.

Урок 17 з 32~19 хв навчанняЗ них ~12 хв на запитання та завдання

Класичний Діалог

Зміст1 із 37 кроків

1 із 37 кроків

Уроки курсу

Чи спрацювала зміна?

Гіпотеза, метрика і правило рішення
Наскільки великий і наскільки довгий
Хто потрапляє в тест
Кейс: читаємо завершений тест

Зміст

1 із 37 кроків

Уроки курсу

Чи спрацювала зміна?

Гіпотеза, метрика і правило рішення
Наскільки великий і наскільки довгий
Хто потрапляє в тест
Кейс: читаємо завершений тест

Maya

Новий paywall Halves Plus готовий: він починається з 7-денного безкоштовного тріалу, а не з ціни. Хочу запустити його в понеділок на половину користувачів. А там побачимо, чи спрацює.

Theo

Я стежитиму за тріалами. Якщо тріал почне більше людей — значить, працює.

🦉

Ви

А ще варто додати дохід, утримання й перегляди paywall. Один дашборд з усім, і подивимося, що зрушиться.

Alex Tutor

Саме так тест закінчується суперечкою. Якщо стежити за двадцятьма числами, кілька з них зрушаться просто випадково. А потім кожен цитуватиме те, що йому зручне.

Alex Tutor:

Тому ми вирішуємо, що означає «працює», до того, як перший користувач побачить новий paywall. Чотири речі на одній сторінці: гіпотеза, одна основна метрика, guardrail-метрики і правило рішення (decision rule).

Alex Tutor

Питання 1

Навіщо записувати план до запуску, а не після того, як з'являться дані? Виберіть усі правильні варіанти.

Оберіть усі правильні відповідіКоманда не зможе вибрати ту метрику, яка випадково зрушиласяНовий paywall від цього конвертуватиме кращеУсі домовляються, що вважати перемогою, поки результату ще ніхто не знаєІнтервал тоді рахувати не требаЗаздалегідь фіксується, якої шкоди команда не прийме

Alex Tutor

Гіпотеза називає зміну, кого вона зачіпає, що має зрушитися і чому. Наша: «Якщо paywall починається з 7-денного тріалу, більше користувачів, які до нього дійшли, оплатять протягом 14 днів, бо, спершу спробувавши Plus, платити вже не так ризиковано».

🦉

Ви

Чому 14 днів? Тріал же лише 7.

Alex Tutor

Перше списання після тріалу буде щонайраніше на 8-й день. Чотирнадцять днів залишають на це час і дають кожному користувачеві однакове часове вікно — байдуже, чи потрапив він у тест у понеділок, чи в неділю.

Maya

А чи може гіпотеза бути просто «користувачам новий paywall сподобається більше»?

Alex Tutor

Жодні дані не можуть це спростувати, тож така гіпотеза не може програти. Корисна гіпотеза називає число, яке може вийти незмінним або гіршим.

Alex Tutor

Питання 2

Яка з цих гіпотез для paywall Halves піддається перевірці?

Оберіть одну відповідьНовий paywall покращить користувацький досвідКористувачі краще зрозуміють цінність Halves PlusТріал на 7 днів на початку paywall збільшить частку тих, хто його побачив і оплатив протягом 14 днів, бо спершу спробувати — менший ризик при оплатіНовий paywall буде кращим за всіма метриками

Alex Tutor

Основна метрика (primary metric) — це одне число, від якого залежить рішення: частка користувачів у тесті, які оплатили протягом 14 днів після першого перегляду paywall.

Theo

Чому не тріали? Вони рухаються швидше, результат я побачив би за кілька днів.

Alex Tutor

Тріал — це крок, а не мета. Paywall може подвоїти тріали й однаково залишити нас із меншою кількістю платних, якщо більшість тріалів тихо закінчиться. Тріали стають другорядною метрикою: ми дивимося на них, щоб пояснити результат, а не щоб вирішувати.

🦉

Ви

А якщо зробити основними обидві, про всяк випадок?

Alex Tutor

Тоді у вас дві нагоди виграти випадково. Якщо ймовірність хибної перемоги для кожної 5%, то з двома незалежними метриками шанс, що хоч одна «виграє» випадково, — близько 1 − 0,95² ≈ 9,8%. Детальніше — в уроці про пастки A/B-тестів.

Alex Tutor

Питання 3

Зіставте кожну роль у плані тесту paywall з її метрикою.

Оберіть відповідь для кожного рядка. Якщо обрати відповідь, яку вже використано, вона переміститься в цей рядок.

Основна метрика
Оберіть відповідь
Guardrail-метрика
Оберіть відповідь
Другорядна метрика
Оберіть відповідь
Дослідницький зріз
Оберіть відповідь

Alex Tutor

Guardrail-метрика (guardrail metric) — це метрика, яку ми не намагаємося покращити, а лише захищаємо. Наполегливіший paywall може дратувати людей, які просто хочуть поділити оренду, і вони перестануть користуватися Halves.

Alex Tutor:

Тож беремо частку користувачів тесту, які додають витрату на 8–14-й день. Ми погоджуємося на падіння щонайбільше на 3 відсоткові пункти і записуємо цей запас уже зараз.

Maya

Чому 3, а не 1?

Alex Tutor

Це бізнесове рішення: найменша втрата у використанні, яку ми готові обміняти на більше платних. Саме число важить менше, ніж момент, коли його обрали. Після тесту будь-яке падіння здається «невеликим» тому, хто хоче запускати.

🦉

Ви

І guardrail-метрику ми теж перевіряємо інтервалом?

Alex Tutor

Так. Нам потрібно, щоб увесь 95% інтервал для різниці «тест − контроль» лежав вище за −3 п. п. «Падіння не значуще» — недостатньо: малий тест може не помітити справжнього падіння.

Alex Tutor

Питання 4

Різниця за guardrail-метрикою вийшла «статистично незначущою». Цього досить, щоб зробити висновок, що новий paywall не зашкодив.

Оберіть одну відповідьПравдаНеправда

Alex Tutor

Остання частина — правило рішення. Що ми робимо за кожного можливого результату? Ефект подаємо як тест − контроль у відсоткових пунктах, з 95% інтервалом, і порівнюємо з найменшим ефектом, заради якого варто запускати, — +1 п. п.

Alex Tutor

План тесту: paywall із тріалом на початку

Гіпотеза: 7-денний тріал на початку paywall збільшує частку тих, хто його побачив і оплатив протягом 14 днів.
Хто в тесті: користувачі в момент першого paywall_viewed, поділ 50/50.
Основна метрика: оплата протягом 14 днів після першого перегляду paywall.
Другорядна: розпочаті тріали. Guardrail: додав витрату на 8–14-й день, запас −3 п. п.
Найменший ефект, заради якого варто запускати: +1 п. п.
Запускаємо, якщо інтервал основної метрики повністю вище за 0, а інтервал guardrail-метрики вище за −3 п. п.
Не запускаємо, якщо інтервал guardrail-метрики сягає нижче за −3 п. п. або інтервал основної метрики містить 0 і весь лежить нижче за +1 п. п. (будь-який ефект замалий, щоб мати значення).
Інакше: результат непевний; лишаємо поточний paywall і вирішуємо щодо більшого тесту.

Maya

А якщо через тиждень він уже явно виграє, зупиняємо раніше?

Alex Tutor

Ні. Ми читаємо результат один раз, коли набрано запланований обсяг. Якщо перевіряти щодня й зупинитися в добрий день, хибних перемог стає більше. Наскільки великим і довгим має бути тест, ми розрахуємо окремо.

🦉

Ви

Тобто «незначущий» результат потрапляє в «непевний», якщо тільки інтервал не виключає й +1 п. п.

Alex Tutor

Питання 5

Тест завершено. Основна метрика, тест − контроль: +0,4 п. п., 95% інтервал від −0,5 до +1,3 п. п. Guardrail-метрика перевірку пройшла. Що каже правило рішення?

Оберіть одну відповідьНе запускати: paywall не має ефектуЗапускати: ефект додатнийНе запускати: інтервал містить 0, тож будь-який ефект замалий, щоб мати значенняНепевний результат: інтервал містить і 0, і +1 п. п., тож лишаємо поточний paywall і вирішуємо щодо більшого тесту

Alex Tutor

Theo може й далі стежити за тріалами, аби тільки ніхто не голосував ними. А тепер інша зміна, щоб потренуватися.

Maya

Наступного кварталу хочемо спробувати онбординг із запрошенням на початку: нових користувачів просять запросити сусіда чи партнера ще до того, як вони додадуть першу витрату.

🦉

Ви

Це може збільшити групи, а може й відлякати людей ще до того, як вони побачать якусь цінність.

Alex Tutor

Питання 6Коротка відповідь · Завдання з перевіркою ШІ

Запишіть план тесту для онбордингу із запрошенням на початку в 4–7 рядках: гіпотеза, одна основна метрика з вікном, одна-дві guardrail-метрики із запасом і правило рішення, яке охоплює «запускаємо», «не запускаємо» і «непевно».

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Alex Tutor:

Одна сторінка з датою, до запуску. Після цього дані можуть нас здивувати, але їх уже не вдасться переконати сказати те, що нам хочеться.

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Наскільки великий і наскільки довгий

Знайшли помилку, маєте пропозицію чи запит на курс?

Напишіть мені

Інструменти Глосарій Блог Що планується Конфіденційність Умови Авторські праваv1.8.0 · 94758e4