однобічний і двобічний критерій
Двобічний критерій виявляє різницю в будь-якому напрямку; однобічний лише в напрямку, заданому заздалегідь.
Двобічний критерій (тест) перевіряє, чи B відрізняється від A в будь-який бік. Однобічний перевіряє лише один напрямок: чи B вищий? (або лише: чи B нижчий?).
Назви походять від рисунка. За умови «різниці немає» статистика критерію має форму дзвона, а результати, що вважаються значущими, лежать у його хвостах. Двобічний критерій з α = 5% ділить їх на 2,5% з кожного боку; однобічний віддає всі 5% одному боку. Тому для тих самих даних, коли результат указує в перевірений бік, однобічне p-значення вдвічі менше за двобічне.
У цьому й небезпека. Якщо обрати однобічний тест після того, як побачили, яка група попереду, ви задарма отримуєте менше p-значення і приблизно подвоюєте шанс хибної перемоги. Однобічний тест чесний, лише коли обраний заздалегідь і ви діяли б однаково за «різниці немає» і за «B гірший», наприклад для дешевшої версії, яку запустите, якщо вона не явно краща. До того ж він узагалі не помічає зміни в інший бік.
Якщо сумніваєтеся, обирайте двобічний. Саме тому він за замовчуванням у більшості інструментів.
Приклад
Тест оформлення замовлення в Котокормі: A конвертує 120 із 3000 (4,0%), B — 150 із 3000 (5,0%). Статистика z — 1,87.
- Двобічний: , не значуще на рівні 5%.
- Однобічний «чи B вищий?»: , значуще на рівні 5%.
Ті самі числа, протилежні висновки. Якщо команда записала «однобічний, B вищий» у план до запуску, 0,031 чинне. Якщо перейшла на нього, побачивши, що B попереду, чесне p-значення все одно 0,062.
Типові помилки
- Переходити на однобічний тест, побачивши дані. Це вдвічі зменшує p без жодних нових доказів.
- Брати однобічний, коли падіння важливе. Однобічний тест «вищий» не помітить, що B шкодить конверсії.
- Порівнювати p-значення різних типів тестів. Однобічне 0,03 і двобічне 0,06 — ті самі докази.
- Не записувати вибір. Якщо його немає в плані, читачі вирішать, що його зробили постфактум.