p-значення та значущість

Alex Tutor

Пам'ятаєш наш тест віджета? t ≈ 6,97, і я сказав, що це «значуще». Час розібрати, що насправді означає це слово.

Ви

Я вважала, що «значуще» просто означає «велике й важливе».

Alex Tutor

Поширена пастка, і саме тому й існує цей урок. Кожен тест, який ми провели, зводиться до одного числа: p-значення. Його справжнє визначення на диво манівцями.

p-значення — це: якщо припустити, що нульова гіпотеза правдива (групи насправді не відрізняються), імовірність отримати статистику критерію (test statistic) — як-от наше t чи U — принаймні таку ж екстремальну, як обчислена, лише через шум вибірки.

Ви

Це важко переварити. Можеш повторити, повільніше?

Alex Tutor

Повільно: уяви, що між контролем і варіантом справді немає різниці. p-значення запитує: «якби це уявлення було правдою, як часто сама випадковість вибірки давала б результат такий екстремальний чи екстремальніший?» Мале p-значення = це уявлення виглядає малоймовірним.

Переконаймося, що це визначення закріпилося, перш ніж рухатись далі.

Alex Tutor

Питання 1

Яке визначення найточніше описує p-значення?

Оберіть одну відповідьІмовірність, якщо припустити, що H0 правдива, отримати тестову статистику принаймні таку ж екстремальну, як спостереженаІмовірність того, що нульова гіпотеза правдиваІмовірність того, що ефект практично важливийІмовірність того, що дослідження повториться, якщо його повторити

Alex Tutor

Тепер важлива частина: три способи, якими люди постійно неправильно читають це число на реальних продуктових зустрічах.

Ви

Викладай. Я, мабуть, хоч раз промовила щось із цього вголос.

Alex Tutor

Ви

Ой, я точно колись казала «є 2% імовірність, що нульова гіпотеза правдива».

Alex Tutor

Ти в дуже хорошій компанії — саме ця помилка трапляється навіть у наукових статтях. Перевіримо твоє нове розуміння.

Alex Tutor

Питання 2

Які з цих тверджень — поширені неправильні тлумачення p-значення, яких варто уникати? Познач усі, що підходять.

Оберіть усі правильні відповіді«Є 2% імовірність, що нульова гіпотеза правдива»«Якщо припустити відсутність реальної різниці, дані такі екстремальні траплялися б через випадковість у 2% випадків»«Є 98% імовірність, що ми отримаємо той самий результат, якщо повторимо тест»«p-значення 0,001 доводить, що це величезний, важливий ефект»

Ви

Гаразд, то що ми МОЖЕМО сказати, якщо p виявляється вищим за 0,05? Що ефекту точно немає?

Alex Tutor

Обережно, це ще одна класична пастка — і достатньо велика, щоб заслуговувати на окреме питання.

Це пов'язано з помилками другого роду з уроку про t-тест: відсутність доказів — не доказ відсутності, особливо за малої вибірки.

Ще одна поширена, цього разу у форматі «правда чи ні».

Alex Tutor

Питання 3

Отримання p-значення вище за 0,05 (неможливість відхилити H0) доводить, що нульова гіпотеза правдива.

ПравдаНеправда

Alex Tutor

То наскільки мале — «достатньо мале»? Перш ніж дивитись на дані, ми обираємо поріг — рівень значущості, α — за традицією майже завжди 0,05. Якщо p < α, ми відхиляємо H0.

Alex Tutor

\text{reject } H_0 \iff p < \alpha

Усе правило прийняття рішення в одному рядку: порівняй p-значення з рівнем значущості, обраним заздалегідь.

Ви

Чому саме 0,05? Хтось довів, що це магічне число?

Alex Tutor

Не зовсім — це традиція з ранньої статистики XX століття, яка просто прижилася. Нічого священного не відбувається на межі p = 0,0499 проти p = 0,0501. Сприймай 0,05 як корисну умовну лінію, а не закон природи.

Швидкий орієнтир: для двостороннього тесту z-показник близько 1,96 припадає точно на класичну межу 0,05.

Alex Tutor

Питання 4

Для двостороннього z-тесту z-показник близько 1,96 відповідає якому класичному пороговому p-значенню?

Ваша відповідь

Одиниці: (напр. 0,05)

Ви

Тож для нашого тесту віджета t ≈ 6,97 було далеко за тією територією ~1,96. Не дивно, що ти назвав це значущим.

Alex Tutor

Саме так — і якби ти прогнала це через програму, вона видала б справжнє p-значення набагато нижче за 0,001, а не просто «менше за 0,05».

Ви

А тест сторінки з Манна-Вітні? U = 2 проти критичного значення 5?

Alex Tutor

Теж упевнено значуще на рівні 0,05 — програма дала б і там точне p, просто обчислене іншим способом під капотом. Та сама логіка, інший двигун.

Зістав разом усю схему прийняття рішення — деталі з цього уроку й попереднього.

Alex Tutor

Питання 5

Зістав кожен термін із його визначенням.

Торкніться відповіді, а потім рядка, до якого вона належить. Можна й перетягувати.

p-значення
Рівень значущості (α)
Статистична значущість
Практична значущість

Відповіді, які ще треба розмістити

Alex Tutor

А ось несподіванка, яка чіпляє саме продакт-менеджерів: p-значення сильно залежить від обсягу вибірки (розміру вибірки). За достатньої кількості даних навіть крихітна, комерційно марна різниця стає «статистично значущою».

Ви

Тобто велика компанія могла б отримати p < 0,001 для зміни, яка насправді нічого не міняє?

Alex Tutor

Саме так. Це і є розрив між статистичною значущістю (чи ефект, імовірно, не нульовий?) і практичною значущістю (чи ефект достатньо великий, щоб на нього діяти?). Котокорму потрібне і те, і те, перш ніж щось викочувати.

Конкретні числа, твоя черга рахувати.

Alex Tutor

Питання 6

Котокорм протестував крихітну зміну тексту на сторінці оформлення на 500 000 клієнтів у кожній групі: контроль конвертує на 5,0%, варіант — на 5,5% — статистично значуще при p < 0,001. Який відносний приріст, (варіант - контроль) / контроль × 100?

Ваша відповідь

Одиниці: % (напр. 12,5)

Ви

Чесно, мене завжди трохи бентежило оте «p = 0,049 значуще, а p = 0,051 — ні».

Alex Tutor

Ти по суті наново відкрила справжню, актуальну дискусію серед статистиків. Гарний інстинкт.

Ви

Стривай, статистики справді про це сперечаються?

Alex Tutor

Постійно — деякі журнали навіть пропонували взагалі відмовитися від слова «значущий» на користь простого звітування самого p-значення й розміру ефекту. Сформулюй цей дискомфорт словами — чому сприймати 0,05 як тверду межу, а не орієнтовний дороговказ, трохи оманливо?

Alex Tutor

Питання 7Коротка відповідь · Завдання з перевіркою ШІ

Своїми словами: чому сприймати p = 0,05 як тверду межу «пройшов/не пройшов» (0,049 «працює», 0,051 «ні») трохи оманливо, навіть попри те, що це корисна умовність?

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Гарно розмірковано. Час застосувати весь модуль: t-тест, Манна-Вітні і тепер p-значення — усе в одному безладному реальному звіті.

Ви

Дай вгадаю, хтось знову надто зрадів крихітному числу.

Alex Tutor

У тебе це вже добре виходить. Тут навіть є твій улюблений інгредієнт: величезна вибірка, яка робить крихітне число вражаючим.

Ви

Мій улюблений інгредієнт. Чудово, у мене вже є свій тип історій.

Alex Tutor

Питання 8Кейс · Завдання з перевіркою ШІ

Розглянь звіт нижче, перш ніж він потрапить у презентацію для керівництва.

Колега пише: «Ми протестували новий банер бонусних балів на 800 000 клієнтів у кожній групі. Контроль погашав бали на 2,00%, варіант — на 2,04%. p = 0,0004, дуже значуще! Рекомендую викотити на всю компанію негайно, без подальших обговорень». Напиши коротку відповідь: чи правильне статистичне твердження? Що б ти хотіла, щоб презентація для керівництва також містила?

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Довірчі інтервали