ANOVA: порівняння багатьох груп

Alex Tutor

Софіє, пам'ятаєш наші три варіанти листа для нових користувачів? Маркетинг нарешті протестував їх: люди отримали Класичний, Грайливий або Знижковий варіант.

Ви

І Знижковий явно переміг, так? Люди ж люблять знижки.

Alex Tutor

Можливо. Ми виміряли витрати за перший місяць у 5 нових користувачів на кожен варіант. Перш ніж порівнювати середні, потрібен тест саме для трьох груп одночасно, а не для двох.

Ви

А чому б просто не зробити t-тест для кожної пари: Класичний проти Грайливого, Грайливий проти Знижкового, Класичний проти Знижкового?

Alex Tutor

Кожен t-тест сам по собі має 5% ризик хибної тривоги. Зробіть три, і ймовірність, що хоча б один випадково «закричить: значущо!», стає значно вищою за 5%.

Alex Tutor

Питання 1

Котокорм протестував три листи для нових користувачів на 5 людях кожен і хоче порівняти середні витрати за перший місяць між усіма трьома. Чому проводити три окремі t-тести (по одному на пару) — погана ідея?

Оберіть одну відповідьТри тести рахувати надто довго замість одногоКожен додатковий тест додає свій ризик хибнопозитивного результату, тож загальна частка помилок перевищує 5%t-тести працюють лише рівно з двома групами, тож таблиця просто відмовиться їх рахуватиТри t-тести завжди дадуть однакову відповідь, тож це просто зайва робота, а не помилка

Alex Tutor

Дисперсійний аналіз (ANOVA) — один тест одразу для трьох груп. Він запитує: чи розкид між середніми груп великий порівняно з розкидом всередині кожної групи?

Alex Tutor

F = \dfrac{MS_{between}}{MS_{within}}

F-статистика: міжгруповий середній квадрат, поділений на внутрішньогруповий.

Міжгрупова дисперсія показує, наскільки середні трьох варіантів відрізняються від загального середнього. Великі відмінності між варіантами піднімають її.

Внутрішньогрупова дисперсія — це шум: наскільки користувачі всередині одного варіанта відрізняються від середнього своєї групи. Її ви побачили б, навіть якби ефекту не було взагалі.

Ви

Тобто великий F означає, що варіанти якось відрізняються?

Alex Tutor

Правильна думка. Нульова гіпотеза (H0) ANOVA каже, що всі три середні генеральної сукупності рівні. Великий F — це доказ проти неї, але він ще не каже, який саме варіант відрізняється.

Alex Tutor

Питання 2

Нульова гіпотеза однофакторного ANOVA стверджує, що принаймні одне середнє групи відрізняється від решти.

ПравдаНеправда

Alex Tutor

Ось витрати за перший місяць у USD для 5 користувачів кожного варіанта: Класичний 18, 19, 20, 21, 22; Грайливий 23, 24, 25, 26, 27; Знижковий 28, 29, 30, 31, 32.

Alex Tutor

Середні витрати за перший місяць за варіантомСередні трьох варіантів рівномірно віддалені одне від одного на 5 USD, а користувачі всередині кожного варіанта відрізняються лише на пару доларів.

Дані графіка

Варіант листа	Середні витрати
Classic	20
Playful	25
Discount-first	30

Загальне середнє за всіма 15 користувачами: (20 + 25 + 30) / 3 = 25 доларів. Середнє кожного варіанта відхиляється від нього рівно на 5 доларів.

Alex Tutor

SS_{between} = n\sum_{j=1}^{k}(\bar{x}_j - \bar{x})^2

Міжгрупова сума квадратів: n користувачів у групі, помножене на квадрат відстані середнього кожної групи від загального середнього.

За n = 5 у кожній групі: SS_between = 5 × ((20−25)² + (25−25)² + (30−25)²) = 5 × (25 + 0 + 25) = 250.

Внутрішньогрупова SS підсумовує квадрати відхилень кожного користувача від середнього своєї групи: 10 + 10 + 10 = 30. Три групи лишають 15 − 3 = 12 ступенів свободи для неї.

Alex Tutor

Питання 3

Маючи SS_between = 250 (df = 2) і SS_within = 30 (df = 12) з тесту листів Котокорму, обчисліть F-статистику.

Ваша відповідь

Одиниці: F-значення, напр. 12,5

F = 50 — це величезне значення. Для df(2, 12) такий екстремальний результат трапився б випадково значно рідше, ніж 1 раз на 1000, якби варіанти насправді працювали однаково.

Ви

Тобто все вирішено: Знижковий переміг, і ми викочуємо його всюди?

Alex Tutor

Ще ні. ANOVA лише каже, що три середні не рівні між собою. Вона не каже, чи Знижковий перевершує Грайливий, чи ледь випереджає лише Класичний.

Щоб безпечно порівняти всі пари, потрібна поправка Бонферроні: поділіть α на кількість порівнянь, щоб утримати загальний ризик біля 5%.

Alex Tutor

Питання 4

Ви плануєте порівняти всі 3 пари варіантів (Класичний–Грайливий, Грайливий–Знижковий, Класичний–Знижковий) після значущого ANOVA, застосувавши поправку Бонферроні, щоб утримати загальну частку помилок на рівні 0,05. Який поріг значущості (α) слід використати для кожного попарного тесту?

Ваша відповідь

Одиниці: альфа, напр. 0,01

Alex Tutor

Таке безпечне попарне порівняння після значущого ANOVA називають апостеріорним (post hoc) критерієм. Поширений вибір для однакових за розміром груп — критерій Тьюкі (HSD).

Ви

HSD... звучить драматично. А що він насправді робить?

Alex Tutor

Він порівнює кожну пару середніх груп за одним спільним порогом, побудованим на внутрішньогруповій дисперсії, тож загальна частка хибнопозитивних результатів по всіх парах лишається біля 5%.

У нашому випадку Знижковий переважає і Класичний, і Грайливий, а Грайливий переважає Класичний. Усі три відрізняються один від одного, що узгоджується з тим, наскільки далеко стояли їхні середні.

Alex Tutor

Питання 5

Зіставте кожен термін ANOVA з тим, що він означає.

Торкніться відповіді, а потім рядка, до якого вона належить. Можна й перетягувати.

Міжгрупова дисперсія
Внутрішньогрупова дисперсія
F-статистика
Апостеріорний (post hoc) критерій

Відповіді, які ще треба розмістити

Alex Tutor

ANOVA припускає приблизно нормальні дані й схожі дисперсії в кожній групі — ті самі припущення, що й у t-тесту.

Коли вони суттєво порушені (крихітні вибірки, дикі викиди), використовуйте H-критерій Краскела-Уолліса: ту саму ідею, що й у Манна-Вітні, поширену на три і більше груп.

Ви

Знову ранжування, як ми робили для двох груп?

Alex Tutor

Той самий підхід: перетворюємо кожне значення з усіх груп на ранг, а тоді порівнюємо суми рангів замість середніх. Це трохи менша потужність в обмін на стійкість до викидів.

Alex Tutor

Питання 6

Які твердження про однофакторний ANOVA та його F-статистику правильні? Оберіть усі.

Оберіть усі правильні відповідіВеликий F означає, що міжгрупова дисперсія велика відносно внутрішньогруповоїANOVA точно каже, яка саме пара груп відрізняєтьсяANOVA припускає приблизно нормальні дані зі схожими дисперсіями в групахЗа дуже скошених даних або крихітних вибірок безпечніша альтернатива — H-критерій Краскела-УоллісаОдин ANOVA замість трьох t-тестів підвищує загальну частку хибнопозитивних результатів

Alex Tutor

Один ANOVA кращий за три t-тести: одна чесна частка хибнопозитивних результатів, одна F-статистика і внутрішньогруповий шум як база для порівняння.

Ви

Тобто наступного разу, коли маркетинг скаже «третій варіант очевидно переміг», я можу запитати «очевидно, чи F-статистично»?

Alex Tutor

Майже. Ще дивіться на самі середні груп і на графік, а не лише на F. Величезний F за мізерної, незначущої для бізнесу різниці в доларах — це не перемога.

Лишилося два завдання: поясни своїми словами, навіщо потрібен апостеріорний крок, а тоді дай пораду щодо трохи складнішого тесту Котокорму.

Alex Tutor

Питання 7Коротка відповідь · Завдання з перевіркою ШІ

У 2–4 реченнях поясніть, чому значущий результат однофакторного ANOVA сам по собі не каже Котокорму, який варіант листа для нових користувачів обрати.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Гарні міркування. Перевіримо їх на складнішому, справжньому кейсі Котокорму.

Цього разу не буде акуратного F = 50 — результат стоїть якраз на межі.

Ви

Чудово, тобто цього разу справді доведеться думати, а не просто читати F-статистику?

Alex Tutor

Саме так. У цьому й уся суть статистичної грамотності для продакт-менеджерів.

Alex Tutor

Питання 8Кейс · Завдання з перевіркою ШІ

Що б ви сказали маркетингу і що робили б далі?

Котокорм також протестував чотири дизайни банера на головній (A–D) по 6 нових користувачів на кожен, вимірюючи утримання на 7-й день. Однофакторний ANOVA дає F = 2,95 для df(3, 20); критичне значення F за α = 0,05 — близько 3,10. Маркетинг хоче негайно оголосити переможцем Банер D, бо його «сира» середня утримання найвища серед чотирьох.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Багатофакторний ANOVA та взаємодії