Потужність і розмір вибірки

Ви

Запустімо тест редизайну чекауту на 200 користувачів у кожній групі — і перевіримо в п'ятницю.

Alex Tutor

Перш ніж це зробити — який ефект ми хочемо побачити, і чи взагалі 200 користувачів здатні його показати, якщо він реальний?

Ви

Я... про це навіть не думала.

Alex Tutor

Це і є статистична потужність: імовірність того, що тест виявить реальний ефект, якщо він справді існує. Низька потужність означає, що реальні перемоги можуть залишитися непоміченими.

Alex Tutor

Пропустити реальний ефект — і ви або нічого не запускаєте, хоча варто було б, або, гірше, вирішуєте, що ідея «не працює», і назавжди її ховаєте.

Alex Tutor

Питання 1

Вища статистична потужність означає нижчу ймовірність помилки другого роду (не виявити реальний ефект, який існує).

ПравдаНеправда

На потужність впливають чотири речі: розмір вибірки, розмір ефекту, який вас цікавить, рівень значущості (α) і природна мінливість даних.

Ви

Розмір ефекту... тобто щось на кшталт відсоткового приросту?

Alex Tutor

У тестах на конверсію це зазвичай називають мінімальним виявлюваним ефектом (MDE) — найменшою реальною різницею, яку тест повинен вміти вловити.

Менший MDE = складніше вловити = потрібно значно більше користувачів. Це найпотужніший важіль для потрібного обсягу вибірки.

(До речі, на відміну від прикладу з AOV у Модулі 1, тут ми працюємо з частками, а не із середнім арифметичним — формули трохи інші.)

Розрахуймо реальний приклад. Сторінка чекауту Котокорму конвертує на базовому рівні p1 = 5,0%. Маркетинг хоче виявити зростання до p2 = 6,0% — це і є MDE.

Alex Tutor

n \approx \frac{(z_{\alpha/2}+z_{\beta})^2 \left[p_1(1-p_1)+p_2(1-p_2)\right]}{(p_1-p_2)^2}

Приблизний обсяг вибірки на варіант для тесту двох часток при рівні значущості α (двобічний) і потужності 1 − β.

Для звичних α = 0,05 (двобічний) і потужності 80% критичні значення — z = 1,96 і z_β = 0,84.

Alex Tutor

Питання 2

Обчисліть p1(1−p1) + p2(1−p2) для p1 = 5,0% і p2 = 6,0% (як десятковий дріб, не у відсотках).

Ваша відповідь

Одиниці: (напр. 0,0500)

Підставляємо: n ≈ (1,96+0,84)² × 0,1039 / (0,05−0,06)² = 7,84 × 0,1039 / 0,0001 ≈ 8 146 користувачів на варіант.

Ви

8 146 на варіант? Це понад 16 000 загалом заради приросту на 1 пункт?!

Alex Tutor

Так — малі базові рівні й малі абсолютні прирости дорого виявляти. Це реальна ціна гонитви за крихітними ефектами.

І це різко нелінійно: зменшуєте MDE — і потрібна вибірка вибухає, бо в знаменнику — квадрат різниці.

Alex Tutor

Питання 3

Якщо ви зменшите вдвічі цільовий MDE (залишивши α, потужність і базову мінливість незмінними), у скільки разів приблизно зросте потрібний обсяг вибірки?

Ваша відповідь

Одиниці: x (напр. 2)

То що робити, коли калькулятор каже 8 146, а на сторінку тесту за два тижні заходить лише 3 000 відвідувачів загалом?

Ви

Просто запустити на два тижні й подивитися, який вийде p-значення?

Alex Tutor

Такий тест буде вкрай недопотужнений — імовірно пропустить реальний приріст на 1 пункт, навіть якщо він є. Натомість є реальні варіанти.

Погодитися на більший MDE (ловити лише стрибок на 2 пункти, а не 1), запускати довше, щоб накопичити трафік, або тестувати на сторінці з більшим трафіком.

Alex Tutor

Питання 4

Калькулятор каже, що потрібно 8 146 користувачів на варіант, а ви отримуєте лише 1 500/тиждень. Яке чесне рішення?

Оберіть одну відповідьЗапустити на 2 тижні попри все і повідомити будь-яке отримане p-значенняЗнизити α до 0,10, щоб калькулятор вимагав менше користувачівПогодитися на більший MDE і/або продовжити тест до досягнення потрібної вибіркиДодати ще п'ять метрик, щоб хоч щось точно вийшло значущим

Alex Tutor

Закріпимо термінологію — потужність напряму пов'язана з двома типами помилок із уроків про перевірку значущості.

Ви

Помилка першого й другого роду... я завжди їх плутаю.

Alex Tutor

Це нормально — більшість плутає. Зістав терміни нижче, і має проясніти.

Ви

Гаразд, готова.

Alex Tutor

Питання 5

Зіставте кожен термін із його визначенням.

Торкніться відповіді, а потім рядка, до якого вона належить. Можна й перетягувати.

Помилка першого роду (α)
Помилка другого роду (β)
Статистична потужність (1 − β)
Мінімальний виявлюваний ефект (MDE)

Відповіді, які ще треба розмістити

Ідеально. Тепер перевіримо, які саме важелі впливають на потрібну кількість користувачів.

Ви

Спробую вгадати: менший MDE — більше людей.

Alex Tutor

Правильна інтуїція. Є ще три подібні важелі.

Ви

Давай варіанти з кількома відповідями.

Alex Tutor

Питання 6

Що з переліченого збільшує потрібний обсяг вибірки за незмінності решти умов? Оберіть усі правильні варіанти.

Оберіть усі правильні відповідіВибір меншого мінімального виявлюваного ефектуВимога потужності 95% замість 80%Використання суворішого рівня значущості (α = 0,01 замість 0,05)Вибір більшого мінімального виявлюваного ефекту

Alex Tutor

Ще одна звичка, яку варто виробити: визначати обсяг вибірки до початку тесту, а не після перших результатів.

Ви

Взагалі-то... у нашій команді правило: кожен тест триває рівно тиждень, без винятків. «Такий у нас процес».

Alex Tutor

Це пастка, замаскована під послідовність. Тижневий трафік — це не те саме, що тижнева потужність.

Ви

Бо трафік не постійний...

Alex Tutor

Питання 7Коротка відповідь · Завдання з перевіркою ШІ

За 2-3 речення поясніть колезі Софії, чому фіксувати тривалість тесту на «завжди один тиждень» гірше, ніж фіксувати потрібний обсяг вибірки.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Гарно — тепер складніша, реальна ситуація для роздумів.

Ви

Готова.

Alex Tutor

На сторінку чекауту Котокорму заходить близько 500 сесій/тиждень. Маркетинг хоче протестувати новий банер «підписка й економія», з ціллю приросту конверсії з 5,0% до 6,0%.

Ви

Це той самий приклад, що й раніше — 8 146 на варіант, так?

Alex Tutor

Питання 8Кейс · Завдання з перевіркою ШІ

Чи варто Котокорму запускати цей тест за планом?

На сторінку чекауту Котокорму заходить ~500 сесій/тиждень (250 на варіант за рівного розподілу). Маркетинг хоче виявити приріст із базового рівня 5,0% до 6,0% (той самий MDE, що й у нашому прикладі, потребує приблизно 8 146 користувачів на варіант при потужності 80% і α = 0,05). За 250 користувачів/варіант/тиждень набір такої вибірки триватиме приблизно 33 тижні. Маркетинг хоче результат за місяць. Напишіть рекомендацію на один абзац.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Це і є справжня навичка: помітити недопотужнений план до того, як він змарнує місяць, нічого не довівши.

Ви

Далі — власне правильно провести тест конверсії, так?

Alex Tutor

Саме так — частки, z-тест і як читати приріст, не обманюючи себе.

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Конверсія та тести для часток