t-тест

Alex Tutor

Софіє, команда оформлення замовлення додала для половини нових сесій минулого тижня віджет допродажу («додати драпку?»). Вони хочуть знати: чи змінює це середню суму замовлення?

Ви

Легко — контроль дав у середньому

42,50, варіант —

52,50. Віджет переміг, викочуємо всюди!

Alex Tutor

Ой, притримай конфеті. Обидва числа — з вибірок лише по 10 замовлень. Пам'ятаєш минулий урок: вибіркові середні хитаються. Нам потрібен спосіб запитати: «$10 — це більше за хитання чи це і є хитання?»

Ви

Тобто не можна просто довіряти тому, яке число більше?

Alex Tutor

Не саме собою. Саме на це відповідає t-тест для незалежних вибірок: чи різниця між середніми двох груп більша, ніж могла б правдоподібно дати сама лише випадковість вибірки? Ось повний набір даних.

Alex Tutor

Набір даних · 20 рядків

A/B-тест віджета оформлення замовлення, один тиждень

20 замовлень: 10 сесій без віджета допродажу (контроль) і 10 з ним (варіант). Синтетичні дані, створені для цього курсу.

Завантажити CSV

Стовпці
order_id: Номер замовлення
group: control (без віджета) чи variant (віджет показано)
order_value: Сума замовлення, USD

Дані

order_id	group	order_value
CC-2001	control	38
CC-2002	control	42
CC-2003	control	45
CC-2004	control	40
CC-2005	control	47

Показати ще 15 рядків

CC-2006	control	43
CC-2007	control	41
CC-2008	control	44
CC-2009	control	39
CC-2010	control	46
CC-2051	variant	50
CC-2052	variant	54
CC-2053	variant	47
CC-2054	variant	52
CC-2055	variant	58
CC-2056	variant	49
CC-2057	variant	55
CC-2058	variant	51
CC-2059	variant	53
CC-2060	variant	56

Ви

Це ж незалежні вибірки, так? Дві різні групи клієнтів, а не та сама людина до і після?

Alex Tutor

Так. Незалежні вибірки означає, що жодне конкретне контрольне замовлення не пов'язане з конкретним варіантним. Якби це були ті самі клієнти, виміряні двічі, знадобився б парний тест — про це в одному з наступних уроків.

Час для швидкої перевірки, коли цей тест взагалі застосовний.

Alex Tutor

Питання 1

У якому випадку варто застосувати класичний t-тест (для незалежних вибірок)?

Оберіть одну відповідьПорівняння середньої суми замовлення між двома різними, не пов'язаними групами клієнтівПорівняння витрат тих самих 50 клієнтів до і після зміни ціниПорівняння середньої задоволеності одразу між чотирма тарифними планамиПорівняння частки клієнтів, що пішли, у двох групах

Alex Tutor

Ідея така: беремо різницю між двома середніми, тоді ділимо на те, наскільки ця різниця природно хитається від вибірки до вибірки, — її стандартну похибку.

Alex Tutor

t = \frac{\bar{x}_2 - \bar{x}_1}{SE_{\bar{x}_2-\bar{x}_1}}

t-статистика Стьюдента: різниця між двома вибірковими середніми, поділена на стандартну похибку цієї різниці.

Ви

А стандартна похибка різниці — це, здогадуюсь, більше за стандартну похибку однієї групи?

Alex Tutor

Гарна здогадка. Коли обидві групи мають схожий розкид, ми об'єднуємо їхні дисперсії в одну оцінку, а тоді поєднуємо обидва розміри вибірок у формулі нижче.

Alex Tutor

SE_{\bar{x}_2-\bar{x}_1} = \sqrt{s_p^2\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}, \quad s_p^2 = \frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}

Об'єднана стандартна похибка: sp² поєднує дисперсії обох груп, зважені за їхніми ступенями свободи.

Для наших даних: контроль має середнє

42,50 і s₁ ≈

3,03 (n₁ = 10); варіант має середнє

52,50 і s₂ ≈

3,37 (n₂ = 10). Тепер твоя черга об'єднати їх.

Alex Tutor

Питання 2

Контроль: n₁ = 10, середнє $42,50, s₁ =$ 3,03. Варіант: n₂ = 10, середнє $52,50, s₂ =$ 3,37. За формулою об'єднаної дисперсії, яка стандартна похибка різниці двох середніх?

Ваша відповідь

Одиниці: USD (напр. 1,25)

Маючи стандартну похибку, до самої t-статистики лишається один крок — ділення.

Ви

Уточню: саме 't' — це і є те, що на вступі назвали «статистика критерію», чи це інша істота?

Alex Tutor

Та сама істота. Будь-яке одне число, обчислене з вибіркових даних і використане, щоб обрати між H0 і H1, — це статистика критерію (test statistic). t — це просто те число, яке використовує саме цей тест.

Ви

Різниця середніх поділена на стандартну похибку, як і в формулі. Візьму цього разу твою точну СП, щоб не накопичувати округлення.

Alex Tutor

Питання 3

Об'єднана стандартна похибка різниці — $1,4337. Середнє варіанту — $52,50, середнє контролю — $42,50. Яка t-статистика Стьюдента?

Ваша відповідь

Одиниці: t (напр. 2,50)

Alex Tutor

Ще один інгредієнт, перш ніж судити про значення t: ступені свободи (df). Для об'єднаного двовибіркового тесту df = n₁ + n₂ - 2 — у нас 10 + 10 - 2 = 18.

Ви

Чому віднімаємо саме 2, а не, скажімо, 1 чи 0?

Alex Tutor

Кожне середнє групи «витрачає» один ступінь свободи на оцінку дисперсії цієї групи — дві групи, два середні використано, два ступені втрачено. Та сама логіка, що й у трюку з підрахунком монет для однієї вибірки, лише подвоєна.

При df = 18 статистична таблиця (чи програма) дає критичне значення приблизно 2,101 для двостороннього тесту на звичному рівні значущості 5%.

Alex Tutor

Ви

Тобто я порівнюю наше t із 2,101, і це скаже, чи віджет справді щось змінив?

Alex Tutor

Питання 4

При df = 18 і критичному значенні 2,101 на рівні 5%, обчислене t = 6,97 означає, що ми відхиляємо нульову гіпотезу про рівність середніх двох груп.

ПравдаНеправда

Ви

А як формально називають ці 5%? Я на зустрічах кажу «поріг у 5%» і отримую дивні погляди.

Alex Tutor

Це рівень значущості (α) — significance level, якщо хочеш звучати офіційно. Обирай його до того, як подивишся на дані, а не після.

Ви

А якщо реальний ефект таки є, але ми все одно не відхиляємо H0 — скажімо, через замалу вибірку — як називають цю помилку?

Alex Tutor

Помилка другого роду (type II error): пропустити реальний ефект. Її злий близнюк, помилка першого роду, — стверджувати про різницю, якої насправді немає. Зістав ці останні кілька термінів, перш ніж рухатись далі.

Alex Tutor

Питання 5

Зістав кожен термін із його визначенням.

Торкніться відповіді, а потім рядка, до якого вона належить. Можна й перетягувати.

Нульова гіпотеза (H0)
Альтернативна гіпотеза (H1)
Ступені свободи
Критичне значення

Відповіді, які ще треба розмістити

Alex Tutor

Два застереження. Перше: класичний об'єднаний t-тест припускає приблизно рівні дисперсії обох груп. У нас вони близькі (9,17 проти 11,39) — усе гаразд. Якби вони сильно відрізнялися, ми б використали t-тест Велча, який зменшує df.

Друге, важливіше застереження: оскільки формула побудована на середніх, одне аномально велике замовлення може повністю її зіпсувати — та сама проблема, яку викиди створюють для будь-якого середнього.

Ви

Що робити, якщо ми підозрюємо викиди, або дані просто не схожі на дзвоноподібні?

Alex Tutor

Тоді t-тест — просто не той інструмент, крапка. У наступному уроці — ранговий метод, якому байдужі викиди й форма розподілу.

Швидка перевірка на розуміння припущень, перш ніж підеш.

Alex Tutor

Питання 6

Які з цих припущень лежать в основі класичного (об'єднаного) t-тесту Стьюдента для незалежних вибірок? Познач усі, що підходять.

Оберіть усі правильні відповідіДві вибірки незалежні одна від одноїДані кожної групи приблизно нормально розподілені (або вибірки достатньо великі)Обидві групи мають приблизно рівні дисперсіїВ обох групах має бути точно однакова кількість спостережень

Ви

Чесно, наше t настільки перевищило 2,101, що це відчувається як перебір для такого очевидного результату.

Alex Tutor

Назвімо правильно, що ми щойно зробили: t-критерій Стьюдента для незалежних вибірок (Student's t-test), а t-критерій Велча — запасний варіант для нерівних дисперсій. Повні назви — для твого наступного звіту.

Ви

Зрозуміла. Тобто навіть щось таке буденне, як середній чек (average order value), заслуговувало на таку строгість, а обсяг вибірки (sample size) був лише по 10 з кожного боку?

Alex Tutor

Іноді дані справді такі чисті. Але ти знаєш це саме тому, що провела тест — «виглядає очевидно» вже підвело чимало продакт-менеджерів. Сформулюй цей інстинкт словами для мене.

Alex Tutor

Питання 7Коротка відповідь · Завдання з перевіркою ШІ

Софія сказала, що результат «і так очевидний» і тест здається зайвим. У 2-3 реченнях поясни, чому все одно варто було провести t-тест, навіть якщо висновок виявився однозначним.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Гарно аргументовано. А тепер складніша версія цієї ж історії, люб'язно надана груповим чатом команди оформлення замовлення.

Ви

Чому в мене відчуття, що мене знову в чомусь звинуватять.

Alex Tutor

Цього разу ні — нарешті чужий набір даних доведеться критикувати. Маленька втіха.

Ви

Погоджуюсь.

Alex Tutor

Питання 8Кейс · Завдання з перевіркою ШІ

Розглянь заяву команди оформлення замовлення нижче.

Команда оформлення замовлення самостійно провела тест банера «безкоштовний ласунок у подарунок»: контроль — середнє $41 (n = 60, s =$ 22), варіант — середнє $46 (n = 60, s =$ 21). Вони обчислили t ≈ 1,28 при df = 118, порівняли з критичним значенням близько 1,98 на рівні 5% і написали: «Банер не спрацював, t нижче критичного значення, вимикаємо». Це правильний висновок? Що, якщо взагалі щось, ти б поставила під сумнів або хотіла б побачити, перш ніж погодитися?

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Манна–Вітні: коли дані не нормальні