Включення за тригером, розбавлення, кластерна рандомізація

Maya

Навесні ми тестували підказку «Зробити регулярним?». Коли хтось додає рахунок, що повторює рахунок минулого місяця з тією самою назвою й сумою, Halves пропонує повторювати його автоматично. Усіх, хто відкривав застосунок, ділили 50/50. Результат: частка пункту, інтервал перетинає нуль.

Alex Tutor

Подивімося, хто в ньому був. Із приблизно 34 000 щотижневих активних користувачів лише близько 5100 на тиждень додають рахунок, що повторює попередній. Це 15%. Решта 85% були в тесті, але ніяк не могли побачити підказку.

Ви

Але ці 85% теж поділили порівну. Хіба вони просто не взаємно знищуються?

Alex Tutor

Вони знищуються в різниці, але не в шумі. Це розбавлення (dilution): більша частина вибірки несе розкид і нульовий ефект, тож справжня зміна розмазується так тонко, що інтервал її ковтає.

Спробуйте. Серед тих, хто додає повторний рахунок, 24% налаштовують регулярний протягом тижня, а підказка додає 3 пункти. Який ефект серед усіх учасників тесту?

Alex Tutor

Питання 1

Весняний тест поділив усіх 34 000 щотижневих активних користувачів. 5100 з них додали повторний рахунок і могли побачити підказку; серед них вона підвищила налаштування регулярних рахунків на +3 п. п. На інших вона не впливала. Який ефект серед усіх учасників тесту, у відсоткових пунктах?

Ваша відповідь

Одиниці: п. п.

Alex Tutor

Рішення — включення за тригером (triggered enrollment): користувач потрапляє в аналіз у перший момент, коли дві версії можуть відрізнятися, тут — коли додає повторний рахунок. Фіксуйте цей момент і в контролі, де підказка не з’являється. Варіант можна призначити раніше, але рахувати починаємо з тригера.

Theo

А скільки насправді коштувало ділити всіх?

Alex Tutor

Скористайтеся формулою з попереднього уроку. За тригером 24% → 27% потребує 3306 користувачів на варіант — два тижні повторних рахунків. Серед усіх частки стають 5,3% → 5,75%, і потрібно 40 414 на варіант, приблизно вдванадцятеро більше.

Ви

А тригером може бути налаштування регулярного рахунку? Це ж саме ті, для кого функція.

Alex Tutor

Ні: підказка змінює, хто це робить. Тригер має відбуватися однаково в обох версіях, ще до того, як зміна почне діяти. Наш тест paywall живе за тим самим правилом: користувачі потрапляють у нього при першому paywall_viewed, а не при trial_started.

Alex Tutor

Питання 2

Який тригер включення правильний для повторного тесту підказки «Зробити регулярним?»?

Оберіть одну відповідьПерший app_opened під час тестуПерший expense_added з entry_method = recurringПерший раз, коли користувач додає рахунок, що повторює минуломісячний, байдуже, показано підказку чи ніНатискання «Зробити регулярним?»

Maya

Наступного кварталу хочемо протестувати груповий план: платить один учасник, а Plus отримують усі в групі. Так само ділимо 50/50 за користувачами?

Alex Tutor

Так не вийде. Уявіть квартиру на трьох, розділену між варіантами. Один сусід у новому варіанті купує груповий план, і двоє в контролі отримують Plus безкоштовно. Контроль більше не контроль.

Ви

А ще вони спілкуються. «Чому твій paywall пропонує груповий план, а мій — ні?»

Alex Tutor

Це мережевий ефект (network effect): варіант одного користувача «протікає» в досвід іншого. Рішення — кластерна рандомізація (cluster randomization): підкидаємо монетку для цілих груп, щоб усі учасники групи отримали той самий варіант.

Alex Tutor

Питання 3

Які зміни в Halves варто рандомізувати цілими групами, а не за користувачами? Виберіть усі правильні варіанти.

Оберіть усі правильні відповідіГруповий план: платить один, Plus отримують усіТемна тема, яку кожен вмикає для себеНовий спосіб підказувати, хто кому платить, коли група розраховуєтьсяСпільний графік витрат, який бачать усі учасники групиНова іконка для екрана особистих налаштувань

Alex Tutor

За це доводиться платити. Учасники однієї групи поводяться схоже: разом подорожують, разом платять оренду, разом ідуть. Троє сусідів дають менше інформації, ніж троє незнайомців.

Дизайн-ефект (design effect) показує, у скільки разів більше користувачів потрібно. m — середній розмір групи в тесті; ICC — наскільки схожі учасники, від 0 (незнайомці) до 1 (однакові).

Alex Tutor

\text{DE} = 1 + (m - 1)\times \text{ICC}

Дизайн-ефект: помножте кількість користувачів, потрібну для тесту за користувачами, на DE.

Ви

Для Halves, скажімо, групи по 3 і ICC 0,15 з минулих даних про групи?

Alex Tutor

Тоді порахуйте, починаючи з 6735 користувачів на варіант, які потрібні для тесту за користувачами.

Alex Tutor

Питання 4

Тесту за користувачами потрібно 6735 користувачів на варіант. Груповий план рандомізують за групами: середній розмір m = 3, ICC = 0,15. Скільки користувачів на варіант потрібно? Округліть угору.

Ваша відповідь

Одиниці: користувачів на варіант

Alex Tutor

Ще одне правило. Якщо монетку підкидали для груп, в аналізі одиницею має бути група. Звичайний інтервал «за користувачами» вийде завузьким: надто впевненим щодо ефекту, який насправді хиткіший.

Maya

А тригер для групового плану?

Alex Tutor

Та сама ідея на рівні групи: група потрапляє в тест, коли будь-хто з учасників уперше бачить paywall. Відтоді в тесті вся група.

Ви

Отже, перед кожним тестом: на кого зміна може вплинути, коли ці люди потрапляють у тест і для чого ми підкидаємо монетку.

Alex Tutor

Питання 5

У тесті, рандомізованому за групами, можна аналізувати користувачів так, ніби кожного рандомізували окремо: 8756 користувачів дають ту саму точність в обох випадках.

ПравдаНеправда

Theo

Моя ідея на літо: коли групу для поїздки створюють за кордоном, нові витрати за замовчуванням вносяться в місцевій валюті, а не в домашній валюті користувача.

Alex Tutor

Добрий кандидат для планування. Усі учасники додають витрати в ту саму групу і всі бачать ті самі баланси.

Ви

Отже, знову три питання: хто, коли і яка одиниця.

Alex Tutor

Питання 6Коротка відповідь · Завдання з перевіркою ШІ

Сплануйте, хто потрапляє в тест Theo, у 3–5 реченнях: тригер включення, одиниця рандомізації і чому, а також що цей вибір означає для розміру тесту та його аналізу.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Кейс: читаємо завершений тест