Парні тести: до і після

Alex Tutor

Минулого місяця Котокорм запустив програму лояльності. Маркетинг хоче знати: чи справді вона підняла місячні витрати, чи ті просто зросли б і так?

Ви

Легко: порівняти середні витрати минулого й цього місяця t-тестом, як ми робили для A/B груп.

Alex Tutor

Обережно: той двовибірковий t-тест для незалежних вибірок порівнює два середні, побудовані з різних клієнтів, які просто замовляли в кожному місяці, а не з тих самих людей.

Тут ми відстежили тих самих 8 клієнтів, до і після. Це дизайн залежних (парних) вибірок, і для нього є свій тест.

Alex Tutor

Ви

А чому важливо, що це ті самі люди?

Alex Tutor

Бо кожен клієнт стає власним базовим рівнем. Парний тест дивиться лише на зміну кожної людини, прибираючи шум від того, що клієнти просто по-різному витрачають гроші.

Alex Tutor

Питання 1

Чому парний t-тест доречніший за двовибірковий t-тест для незалежних вибірок, коли порівнюємо витрати тих самих 8 клієнтів до і після програми лояльності?

Оберіть одну відповідьПарні тести завжди дають менші p-значення, тож це безпечніший вибір за замовчуваннямВін прибирає власний базовий рівень витрат кожного клієнта з порівняння, лишаючи менше шуму, ніж якби «до» і «після» вважалися двома незалежними групамиДвовибірковий t-тест для незалежних вибірок неможливо порахувати лише для 8 людейПарні тести взагалі не вимагають жодних припущень про розподіл даних

Alex Tutor

Місячні витрати до → після, USD, для наших 8 клієнтів програми лояльності: U1 42→47, U2 38→40, U3 51→59, U4 29→30, U5 60→66, U6 33→37, U7 47→50, U8 55→62.

Alex Tutor

Зміна місячних витрат для кожного клієнтаРізниця (після мінус до) додатна для кожного клієнта, хоча розмір зміни доволі сильно відрізняється.

Дані графіка

Клієнт	Після − до
U1	5
U2	2
U3	8
U4	1
U5	6

Показати ще 3 рядки

U6	4
U7	3
U8	7

Погляньте на різниці: абсолютно кожен клієнт після програми витрачав більше, хтось трохи, хтось значно.

Ви

То вона очевидно спрацювала?

Alex Tutor

Виглядає багатонадійно, але «очевидно» — це не число. Нам ще треба перевірити, чи середня різниця більша за звичайний шум.

Alex Tutor

Питання 2

Парний t-тест може порівнювати вимірювання «до» для однієї групи клієнтів із вимірюваннями «після» для зовсім іншої групи клієнтів.

ПравдаНеправда

Alex Tutor

Двовибірковий t-тест для незалежних вибірок ділить ступені свободи між двома групами: n1 + n2 − 2. Парні дані натомість зводяться до однієї групи різниць.

Кожен клієнт стає одним числом: власною різницею після мінус до. І тоді питання просте: чи дорівнює середня різниця нулю?

Alex Tutor

t = \dfrac{\bar{d}}{s_d / \sqrt{n}}

Парний t-тест (t-критерій Стьюдента для залежних вибірок): середня різниця, поділена на стандартну похибку різниці (стандартне відхилення різниць, поділене на корінь із n пар).

Наші 8 різниць, у доларах: 5, 2, 8, 1, 6, 4, 3, 7.

Їхня сума — 36, тож середня різниця — 36 / 8 = 4,5 долара.

Alex Tutor

Питання 3

Різниці «до/після» (після − до) для 8 клієнтів програми лояльності: 5, 2, 8, 1, 6, 4, 3, 7 доларів. Обчисліть середню різницю.

Ваша відповідь

Одиниці: USD, напр. 4,5

Тепер розкид: сума квадратів відхилень від 4,5 дорівнює 42. Поділивши на n − 1 = 7, отримуємо дисперсію 6, тож стандартне відхилення різниць — приблизно 2,45.

Стандартна похибка ділить це на корінь із n: 2,45 / √8 ≈ 0,87 долара.

Ви

І наскільки великою має бути t-статистика, щоб це мало значення?

Alex Tutor

Для df = 7 двобічний тест на рівні 5% має критичне значення близько 2,365. Усе, що за модулем перевищує його, дивно, якби програма насправді нічого не змінювала.

Alex Tutor

Питання 4

Для тих самих 8 різниць (5, 2, 8, 1, 6, 4, 3, 7) вибіркове стандартне відхилення різниць — приблизно 2,449. Обчисліть стандартну похибку середньої різниці.

Ваша відповідь

Одиниці: USD, напр. 0,87

Alex Tutor

t = 4,5 / 0,87 ≈ 5,20, з df = 7. Це більш ніж удвічі перевищує критичне значення 2,365.

Ми відхиляємо H0: середня різниця «до/після» навряд чи дорівнює нулю. Ці 4,5 долара приросту виглядають реальними, а не шумом.

Ви

То це програма лояльності спричинила?

Alex Tutor

Одне застереження: без контрольної групи частину ефекту міг би пояснити й сезонний тренд. Парний тест доводить, що зміна реальна, але не те, що саме ця одна причина повністю її пояснює.

Alex Tutor

Питання 5

Зіставте кожен термін із тим, що він означає.

Торкніться відповіді, а потім рядка, до якого вона належить. Можна й перетягувати.

Залежні (парні) вибірки
Парний t-тест
Критерій знаків
T-критерій Вілкоксона

Відповіді, які ще треба розмістити

Alex Tutor

Парний t-тест припускає, що різниці приблизно нормальні. За сильно скошених різниць або крихітної вибірки це припущення хитається.

Найпростіший запасний варіант — критерій знаків: він лише рахує, скільки різниць додатні, а скільки від'ємні, повністю ігноруючи їхній розмір.

T-критерій Вілкоксона зберігає трохи більше інформації: він ранжує модулі різниць і порівнює суми рангів додатних і від'ємних зсувів.

Ви

Тобто Вілкоксон зазвичай кращий вибір, ніж критерій знаків?

Alex Tutor

Питання 6

Які твердження про парні дизайни та парні тести правильні? Оберіть усі.

Оберіть усі правильні відповідіПарний t-тест використовує n − 1 ступенів свободи, де n — кількість парПарування зазвичай підвищує потужність виявлення реального ефекту порівняно з розглядом даних як двох незалежних групКритерій знаків використовує точний розмір кожної різниці, а не лише її напрямT-критерій Вілкоксона безпечніший за парний t-тест, коли різниці сильно скошені або мають великі викидиПарний дизайн потребує приблизно вдвічі більше людей, ніж дизайн незалежних вибірок, для тієї самої статистичної потужності

Alex Tutor

Зазвичай так: Вілкоксон використовує більше даних, тож має більшу потужність, а критерій знаків — найпростіший і найстійкіший запасний варіант, коли навіть ранги викликають сумнів.

Який би тест ви не обрали, спершу завжди дивіться на самі різниці й обсяг вибірки. Восьми клієнтів достатньо для чистого прикладу в уроці, але не завжди для впевненого рішення про запуск.

Ви

Зрозуміла: ті самі люди, одна колонка різниць, а тоді обрати тест відповідно до того, як ці різниці виглядають.

Alex Tutor

Лишилося два завдання: сформулюй перевагу парності своїми словами, а тоді розбери складніший кейс із крихітною й перекошеною вибіркою.

Alex Tutor

Питання 7Коротка відповідь · Завдання з перевіркою ШІ

У 2–4 реченнях поясніть, чому парування вимірювань «до/після» для тих самих 8 клієнтів дає більшу статистичну потужність, ніж порівняння двох незалежних груп по 8 різних клієнтів кожна.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Тепер кейс: оновлений розділ довідки, 6 користувачів, оцінка задоволеності від 1 до 10 до і після.

Цього разу не буде акуратного t = 5,20. Одна оцінка підозріло різко підскочила, а вибірка крихітна.

Ви

Готова, давай.

Alex Tutor

Ось цей настрій мені й потрібен.

Alex Tutor

Питання 8Кейс · Завдання з перевіркою ШІ

Який тест ви б використали і як би впоралися з викидом?

Котокорм попросив 6 користувачів чату підтримки оцінити задоволеність (1–10) до і після оновлення розділу довідки. До: 5, 6, 4, 7, 5, 1. Після: 6, 7, 6, 7, 6, 10. Оцінка останнього користувача підскочила з 1 до 10 того самого тижня, коли він також отримав непов'язаний лист із безкоштовним подарунком. Маючи лише 6 користувачів і одну домінантну різницю, колега пропонує все одно провести парний t-тест на сирих оцінках.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Повторні вимірювання