практична значущість

Чи достатньо великий ефект, щоб мати значення для бізнесу; оцінюють за розміром ефекту і вартістю, а не за p-значенням.

Практична значущість відповідає на запитання, чи різниця достатньо велика, щоб мати значення: чи вартує вона витрат на розробку, запуск і підтримку зміни. Статистична значущість відповідає на інше: чи різниця більша за випадковий шум.

Вони легко розходяться. На величезній вибірці приріст у 0,1 відсоткового пункта може бути дуже значущим і водночас приносити менше, ніж коштує зміна. На малій вибірці приріст, що дав би багато, може не досягти значущості лише тому, що тест був закороткий.

Щоб оцінити практичну значущість, подивіться на розмір ефекту та його довірчий інтервал і переведіть їх у гроші чи метрику, яка важить для команди. Заздалегідь визначте найменший ефект, що вартує зусиль (те саме число, з яким планують розмір вибірки). Потім читайте інтервал: якщо він повністю вище цієї межі, зміна і справжня, і варта; якщо перетинає межу, дані ще не можуть сказати; якщо нижче — ефект може бути справжнім, але замалим, щоб ним перейматися.

Саме лише p-значення нічого з цього не скаже. Про розмір різниці воно мовчить.

Приклад

Котокорм тестує нову сторінку товару на 400 000 відвідувачів у кожному варіанті. Конверсія зростає з 5,00% до 5,10%, p = 0,04: статистично значуще.

Команда заздалегідь вирішила, що зміна варта лише понад +0,3 відсоткового пункта, бо нова сторінка подвоює бюджет на фото. Довірчий інтервал 95% для приросту — приблизно від +0,004 до +0,2 пункта, повністю нижче +0,3. Ефект, імовірно, справжній, але не окупається, тож команда залишає стару сторінку.

Типові помилки

Святкувати крихітний значущий приріст. Перш ніж запускати, перевірте, скільки він вартий.
Відкидати великий незначущий приріст. Можливо, варто продовжити тест, а не казати «ні».
Визначати «варто» після тесту. Найменший вартий ефект задайте до того, як побачите результати.
Показувати лише p-значення. Завжди наводьте розмір ефекту та його інтервал, щоб інші могли оцінити.

Вивчити в курсі

p-значення та значущість · Що насправді каже p-значення, чого воно не каже, і статистична значущість проти практичної.
Підсумок курсу: як обрати правильний тест · Шпаргалка для вибору методу, що поєднує весь курс.