Пастки: підглядання, множинні порівняння, ефект новизни

Ви

Тест банера триває вже 2 дні, і вже значущий! p = 0,03. Запускаємо?

Alex Tutor

Скільки разів ти вже перевіряла той дашборд відтоді, як тест запустився?

Ви

...може, разів шість? Я перевіряю щодекілька годин.

Alex Tutor

Це і є підглядання — повторна перевірка результатів і зупинка, щойно бачиш те, що подобається. Це непомітно ламає ті самі 5% похибки, на які ти розраховуєш.

Alex Tutor

Із фіксованим порогом 5%, який перевіряють знову й знову, справжня ймовірність хибної тривоги десь по дорозі значно вища за 5%.

Alex Tutor

Питання 1

Зупинка тесту, щойно p вперше опускається нижче 0,05, і оголошення перемоги — зберігає реальну частку хибнопозитивних результатів на рівні 5%.

ПравдаНеправда

Є споріднена проблема: перевірка багатьох метрик одночасно, а не лише підглядання за однією з часом.

Ви

Ми й справді відстежуємо купу метрик у кожному тесті — конверсію, AOV, утримання, NPS, CTR...

Alex Tutor

Саме так — і якщо перевірити 5 незалежних метрик при α = 0,05 кожна, за умови, що жодна насправді не змінилася, хоча б одна, ймовірно, «випадково» вийде значущою.

Це проблема множинних порівнянь: кожен окремий тест має 5% шансу на хибний позитив, але провести їх достатньо — і сукупний шанс швидко зростає.

Alex Tutor

Питання 2

Ви перевіряєте 5 незалежних захисних метрик, кожну при α = 0,05, і жодна з них насправді не змінилася. Яка ймовірність, що хоча б одна покаже хибнопозитивний результат, у відсотках?

Ваша відповідь

Одиниці: % (напр. 10,0)

Один зі стандартних способів виправити це — поправка Бонферроні: поділити поріг значущості на кількість тестів, щоб сукупний ризик залишався близько 5%.

Alex Tutor

\alpha_{\text{per test}} = \frac{\alpha_{\text{family}}}{m}

Поправка Бонферроні: поділити бажаний загальний (сімейний) рівень значущості на кількість порівнянь m.

Для тих самих 5 метрик при сімейному рівні 0,05 кожна метрика тепер має досягти власного p, меншого за 0,05 / 5.

Ви

Тобто кожен окремий тест стає суворішим для проходження.

Alex Tutor

Саме так — це навмисно консервативно. Менше хибних тривог ціною того, що для «значущості» потрібен чіткіший сигнал.

Alex Tutor

Питання 3

Використовуючи поправку Бонферроні для 5 порівнянь при сімейному α = 0,05, який поріг значущості слід використати для кожного тесту?

Ваша відповідь

Одиниці: альфа (напр. 0,01)

Alex Tutor

Інший тип проблеми: іноді ефект реальний першого дня, а потім тихо зникає.

Ви

Начебто люди просто помічають новий банер, бо він новий?

Alex Tutor

Саме так — ефект новизни. Постійні користувачі реагують на саму зміну, а не обов'язково на те, що вона краща. Ця реакція згасає.

Тому результати першого дня можуть прикрашати невдалу ідею, і саме тому варто стежити за трендом метрики протягом усього тесту, а не лише за початковим сплеском.

(До речі, ці пастки стосуються будь-якої метрики — середнього арифметичного, частки, чого завгодно — а не лише конверсії.)

Alex Tutor

Питання 4

Який найбезпечніший спосіб діяти, якщо хочеться перевірити результати до досягнення заздалегідь обчисленого обсягу вибірки?

Оберіть одну відповідьВикористати метод послідовного тестування, розрахований на повторні перевірки (напр., заздалегідь зареєстрований графік витрат альфи)Підглядати щодня, але діяти лише якщо p < 0,05 з'явиться двічі поспільОцінити тренд «на око» й зупинитися, коли «виглядає завершеним»Одноразове підглядання не проблема — проблема лише в повторному

Alex Tutor

Перевіримо, чи міцно засвоєна термінологія цього уроку — зістав кожну пастку з її описом.

Ви

Тут справді багато схожих понять, чесно кажучи.

Alex Tutor

Це правда — саме тому це й важливо. Переплутати їх на реальному ретро — дорога помилка.

Ви

Гаразд, зіставляймо.

Alex Tutor

Питання 5

Зіставте кожну пастку з її описом.

Торкніться відповіді, а потім рядка, до якого вона належить. Можна й перетягувати.

Підглядання
Проблема множинних порівнянь
Ефект новизни
Невідповідність співвідношення вибірок (SRM)

Відповіді, які ще треба розмістити

Гарно. Тепер розрізнімо справжні причини хибного «переможця» від того, що насправді ним не є.

Ви

Маю відчуття, що один із варіантів — пастка.

Alex Tutor

Матимеш рацію. Читай уважно.

Ви

Гаразд, глибокий вдих.

Alex Tutor

Питання 6

Що з переліченого є класичною причиною хибного «переможного» варіанта? Оберіть усі правильні варіанти.

Оберіть усі правильні відповідіЩоденне підглядання й зупинка, щойно p опускається нижче 0,05Перевірка 20 метрик і звітування лише про ту, що вийшла значущоюПроведення тесту до повного заздалегідь зареєстрованого обсягу вибірки перед переглядомЕфект новизни, що згасає після ажіотажу першого тижня

Alex Tutor

Тепер сформулюємо це в повідомлення, яке справді можна надіслати колезі.

Ви

Ситуація «вже значущий за 2 дні» з початку розмови?

Alex Tutor

Саме вона.

Ви

Гаразд, дай сформулюю.

Alex Tutor

Питання 7Коротка відповідь · Завдання з перевіркою ШІ

Дашборд Котокорму показує, що тест банера «вже значущий» за 2 дні, але заздалегідь зареєстрований обсяг вибірки потребує 2 тижнів. За 2-3 речення поясніть колезі Софії, чому не варто запускати вже зараз.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Чудово. Ще один сценарій — тут кілька сьогоднішніх пасток одразу.

Ви

Чудово, кілька одразу.

Alex Tutor

Котокорм проводив тест допродажу «подарункове пакування» протягом 3 тижнів, відстежуючи 12 метрик.

Ви

Це вже два червоні прапорці з сьогоднішнього уроку, так?

Alex Tutor

Питання 8Кейс · Завдання з перевіркою ШІ

Напишіть рекомендацію на один абзац для команди.

Тест допродажу «подарункове пакування» Котокорму тривав 3 тижні, відстежуючи 12 метрик без жодної поправки на множинні порівняння. Перший день показав величезний приріст основної метрики, який до третього тижня зменшився майже до нуля. Окремо одна з 12 метрик — реєстрації електронною поштою — виявилася значущою при p = 0,03; жодна з інших — ні. Напишіть рекомендацію на один абзац для команди.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Це, по суті, суть модуля: сумніватися в гучному числі, перевіряти, чи воно справді значуще, і перевіряти як ви до нього дійшли.

Ви

Тепер я дивитимусь на кожен результат тесту зовсім інакше.

Alex Tutor

Саме цього ми й прагнули. Іди і перестань перевіряти дашборди щогодини.

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: ANOVA: порівняння багатьох груп