Підсумок курсу: як обрати правильний тест

Ви

Алексе, я вивчила дванадцять різних методів за п'ять модулів і вже не пам'ятаю, який куди йде.

Alex Tutor

Саме для цього сьогоднішній урок. Кожен метод, який ми розглянули, відповідає на одне з кількох питань. Щойно ти розумієш питання — метод здебільшого обирається сам.

Ви

Тобто це не дванадцять окремих речей для запам'ятовування?

Alex Tutor

Найважливіші дві речі: скільки груп чи змінних ти порівнюєш, і чи задовольняють дані припущення параметричного тесту — приблизно нормальний розподіл, без екстремальних викидів, достатній обсяг вибірки.

Alex Tutor

Питання 1

Котокорм порівнює час на сторінці для 15 користувачів у варіанті A і 15 у варіанті B. Дані сильно скошені, з кількома екстремальними викидами. Який тест підходить найкраще?

Оберіть одну відповідьU-критерій Манна-Вітніt-критерій Стьюдента для незалежних вибірокПарний t-критерійОднофакторний ANOVA

Alex Tutor

Для двох незалежних груп: t-тест, якщо дані приблизно нормальні й вибірка достатня, Манна-Вітні — якщо дані скошені, малі або з великою кількістю викидів.

Ви

А якщо ті самі користувачі виміряні до і після зміни?

Alex Tutor

Це парні дані — парний t-критерій або його непараметричний аналог, критерій Вілкоксона. Та сама логіка нормальний/скошений, тільки для різниць, а не сирих значень.

Ви

Три й більше груп — тут повертається ANOVA?

Alex Tutor

Так: однофакторний ANOVA (параметричний) або Краскела-Уолліса (непараметричний) для незалежних груп; дисперсійний аналіз із повторними вимірюваннями або Фрідмана для тих самих об'єктів, виміряних кілька разів.

Alex Tutor

Питання 2

Котокорм вимірює оцінку задоволеності тих самих 40 користувачів до і після оновленого онбордингу. Який тест доречний?

Оберіть одну відповідьПарний t-критерій (або Вілкоксона, якщо різниці скошені)t-критерій Стьюдента для незалежних вибірокКореляція ПірсонаМетод k-середніх

Alex Tutor

Для одного A/B-тесту на конверсії ти порівнюєш дві частки, а не два середні — тут потрібен z-критерій для двох часток або критерій хі-квадрат.

Ви

А якщо я порівнюю конверсію одразу трьох варіантів лендингу?

Alex Tutor

Та сама родина: критерій хі-квадрат для таблиці 3 на 2 «варіант × сконвертувався/ні», а не ANOVA — ANOVA порівнює середні неперервної змінної, а конверсія — це частка.

Ви

Тобто «це середнє чи частка» — ще одне питання, яке варто ставити одразу?

Alex Tutor

Саме так. І хай там який тест, обгортай результат довірчим інтервалом і плануй обсяг вибірки до запуску за базовим рівнем, MDE і потужністю.

Ви

Дай швидкий приклад із числами, щоб перевірити, чи правильно я пам'ятаю формулу довірчого інтервалу.

Alex Tutor

\text{margin of error} \approx 1.96 \times SE

Похибка для 95% довірчого рівня: приблизно 1,96 стандартної похибки з кожного боку від оцінки.

Ось невеликий приклад для обчислення вручну.

Alex Tutor

Питання 5

Оцінка конверсії Котокорму має стандартну похибку 1,2 відсоткового пункту. За формулою похибка ≈ 1,96 × SE, яка приблизна похибка для 95% довірчого рівня?

Ваша відповідь

Одиниці: відсоткових пунктів (напр. 2,35)

Alex Tutor

Коли хочеш дізнатися, як дві змінні змінюються разом, — це кореляція. Коли хочеш прогнозувати одну за іншою — це регресія.

Ви

А для результату «так/ні», наприклад «чи піде цей користувач»?

Alex Tutor

Логістична регресія: вона прогнозує ймовірність цього результату «так/ні» за твоїми предикторами.

Ви

Відрізняється від лінійної регресії тим, що результат обмежений між 0 і 1?

Alex Tutor

Саме так. Спробуй застосувати це до конкретного випадку.

Alex Tutor

Питання 6

Ти хочеш прогнозувати ймовірність відтоку конкретного клієнта наступного місяця за історією його замовлень. Який метод підходить?

Оберіть одну відповідьЛогістична регресіяЛінійна регресіяОднофакторний ANOVAФакторний аналіз

Коли цільової змінної взагалі немає, лише клієнти, яких треба згрупувати, — це наш модуль: кластеризація.

Ви

А якщо групувати треба не клієнтів, а запитання опитування?

Alex Tutor

Факторний аналіз — той самий дух, що й кластеризація, але групує корельовані змінні в приховані теми, а не спостереження в сегменти.

Ви

Тобто кластеризація потребує рішення щодо k, якщо тільки не використати ієрархічну версію?

Alex Tutor

Питання 4

Якщо заздалегідь невідомо, скільки існує сегментів клієнтів, ієрархічна кластеризація доречніша, ніж k-середні.

ПравдаНеправда

Alex Tutor

Зведімо все на одну карту. Я даю кілька ситуацій, а ти зіставляєш кожну з методом.

Alex Tutor

Ви

Це фактично шпаргалка, якої я хотіла ще з другого модуля.

Alex Tutor

Тримай її відкритою — вона знадобиться для наступного.

Ви

Готова, коли скажеш.

Alex Tutor

Питання 3

Зістав кожну ситуацію з методом, що їй відповідає.

Торкніться відповіді, а потім рядка, до якого вона належить. Можна й перетягувати.

Порівняти середній чек між 2 незалежними групами, приблизно нормальні дані, n = 60 у кожній
Порівняти медіанний час сесії між 2 групами зі скошеними даними й викидами
Порівняти метрику між 4 маркетинговими каналами (приблизно нормальні середні)
Порівняти конверсію (частку) між 3 варіантами лендингу
Знайти приховані теми за 20 корельованими запитаннями опитування
Згрупувати клієнтів у сегменти без заздалегідь заданих міток

Відповіді, які ще треба розмістити

Alex Tutor

Ще одне попередження наостанок: правильний вибір тесту на папері не рятує від практичних пасток із третього модуля.

Ви

Підглядання в результати завчасно, перевірка двадцяти метрик і звіт лише про ту, що значуща...

Alex Tutor

Саме вони. Обирай тест і основну метрику до того, як глянути на дані, і завжди перевіряй практичну значущість, а не лише p < 0,05.

Ви

Тобто процес навколо тесту важливий не менше за сам тест.

Alex Tutor

Питання 7

Що з переліченого — ознака того, що не варто беззастережно довіряти «статистично значущому» результату? Обери все, що підходить.

Оберіть усі правильні відповідіКоманда щодня перевіряла результати й зупинила тест того дня, коли p впало нижче 0,05Результат підтверджується і на окремій відкладеній вибірціЦе єдина значуща метрика з 20 перевірених, без поправки на множинні порівнянняРозмір ефекту крихітний, хоча p < 0,05

Закріпимо весь процес — не лише який тест, а й у якому порядку діяти.

Ви

Маю відчуття, що «спершу обери тест, потім дивись на дані» ось-ось стане суворим правилом.

Alex Tutor

Це вже правило. Розстав ці кроки — і більше ніколи не підбиратимеш метод під бажаний результат.

Ви

Гаразд, дай продумаю послідовність.

Alex Tutor

Питання 8

Розстав кроки дисциплінованого процесу вибору тесту у правильному порядку.

Торкніться пункту, а потім місця, куди його поставити. Можна перетягувати або користуватися стрілками.

Alex Tutor

Ось увесь курс на одній карті: скільки груп, яка форма даних і яке питання ти насправді ставиш.

Ви

Півроку тому я б просто порівняла два середні на око — і на цьому все.

Alex Tutor

А тепер ти знаєш, чому цього недостатньо.

Ви

То що лишилося, перш ніж я «закінчу» цей курс?

Alex Tutor

Поясни колезі свій процес вибору тесту — це наступне завдання.

Alex Tutor

Питання 9Коротка відповідь · Завдання з перевіркою ШІ

У 2–3 реченнях поясни, як би ти обирала між t-тестом і критерієм Манна-Вітні для порівняння середнього чека між двома ринками Котокорму.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Останнє: керівництво хоче одну стабільну шпаргалку для всієї компанії, а не черговий одноразовий аналіз.

Ви

Ніякого тиску, просто пишу статистичну конституцію компанії.

Alex Tutor

У тебе вже є все необхідне — кожен метод, кожна пастка, усі шість модулів.

Ви

Гаразд. Завершімо цей курс як слід.

Alex Tutor

Питання 10Кейс · Завдання з перевіркою ШІ

Напиши свою методичну записку нижче.

Керівництво Котокорму просить тебе скласти коротку внутрішню шпаргалку, щоб усі команди обирали статистичні методи послідовно, а не імпровізували кожен по-своєму. Шпаргалка має допомогти визначити, що застосувати, і попередити про типові помилки, не вимагаючи від людини пройти весь цей курс.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

На цьому все. Ти почала цей курс, порівнюючи середні на око, а тепер можеш обґрунтувати вибір тесту перед ким завгодно. Молодець, Софіє.

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Назад до курсу