Викиди та скошені дані

Ви

Алексе, допоможи розібрати «Викиди та скошені дані» крок за кроком.

Alex Tutor

Команда зростання Котокорму готує квартальний огляд. На одному слайді — витрати нових покупців за 90 днів: скільки кожен, хто прийшов у червні, витратив за перші 90 днів. Аналітик узяв випадкову вибірку з 24 таких покупців (завантажте її нижче).

Середнє — $50. Медіана — $35. Дві третини покупців (16 із 24) витратили менше за середнє. А один покупець, U-5120, витратив $240 — майже вп'ятеро більше за середнє.

Хтось пропонує: «Просто видаліть найбільші значення, це ж викиди». Чи варто? Цей урок — про викиди (значення, далекі від решти) і скошені розподіли (дані з довгим хвостом з одного боку). У продуктових і маркетингових даних вони — норма, а не виняток, і вміння правильно з ними поводитися — одна з найпрактичніших навичок цього курсу.

Alex Tutor

Набір даних · 24 рядки

Витрати нових покупців Котокорму за 90 днів

Випадкова вибірка з 24 покупців, які прийшли в червні: витрати й кількість замовлень за перші 90 днів. Синтетичні дані, створені для цього курсу.

Завантажити CSV

Стовпці
customer_id: Ідентифікатор покупця
spend_90d: Сумарні витрати за перші 90 днів, USD
orders_90d: Кількість замовлень за перші 90 днів

Дані

customer_id	spend_90d	orders_90d
U-5101	42	2
U-5102	85	3
U-5103	15	1
U-5104	28	1
U-5105	24	1

Показати ще 19 рядків

U-5106	24	1
U-5107	64	2
U-5108	32	1
U-5109	56	2
U-5110	93	3
U-5111	26	1
U-5112	22	1
U-5113	20	1
U-5114	45	2
U-5115	110	4
U-5116	34	1
U-5117	50	2
U-5118	36	1
U-5119	38	1
U-5120	240	12
U-5121	56	2
U-5122	12	1
U-5123	18	1
U-5124	30	1

Alex Tutor

Питання 1

Яка метрика Котокорму найімовірніше має правосторонню асиметрію?

Оберіть одну відповідьВиручка на покупця за перший рікВага стандартних 2-кілограмових пачок корму з фабрикиОцінка в магазині застосунків (1–5 зірок)День тижня, коли зроблено замовлення

Alex Tutor

Витрати нового покупця за 90 днівДовгий правий хвіст: більшість покупців витратили 20–60 USD, кілька — значно більше, а один — 240 USD. Хвіст тягне середнє (50 USD) праворуч від медіани (35 USD).

Дані графіка

Витрати за 90 днів, USD	Покупці
0–19	3
20–39	11
40–59	5
60–79	1
80–99	2

Показати ще 3 рядки

100–119	1
120–239	0
240–259	1

Alex Tutor

Питання 2

Кожен викид треба видалити перед аналізом даних.

ПравдаНеправда

Alex Tutor

Викид — спостереження, що лежить далеко від решти даних. Це статистичний опис, а не вирок. Перш ніж щось вирішувати, спитайте, чому значення так далеко. На практиці буває три дуже різні причини:

Це помилка. Тестове замовлення від розробника, ціна $2 990 замість $29,90, виручка, записана не в тій валюті, бот, що додав у кошик 400 товарів. Такі значення не описують нічого реального. Виправте або видаліть їх і запишіть, що ви це зробили.
Це справжнє крайнє значення. Реальний покупець, який дуже любить ваш продукт і багато замовляє. Значення правильне, просто рідкісне. Видалити його — те саме, що вдавати, ніби ваших найкращих покупців не існує.
Це інша сукупність. Погляньте ще раз на U-5120: $240 за 12 замовлень за 90 днів, тоді як майже всі інші зробили 1–3 замовлення. Така картина більше схожа на бізнес (котокафе, притулок, невеликий перепродавець), ніж на домогосподарство. Дані реальні, але відповідають на інше запитання. Аналізуйте їх як окремий сегмент, а не змішуйте з домогосподарствами.

Викиди — це інформація. Іноді найважливіша знахідка в даних — сам викид: B2B-сегмент, про який ви не знали, або баг трекінгу, що місяць завищував виручку.

Alex Tutor

«Далеко від решти» потребує визначення, інакше кожен проводитиме межу там, де зручно для його історії. Найпоширеніше правило, яке запропонував статистик Джон Тьюкі, будує межі («паркани») з квартилів, знайомих вам із попереднього уроку:

нижня межа: $Q_1 - 1{,}5 \times \text{IQR}$
верхня межа: $Q_3 + 1{,}5 \times \text{IQR}$

Усе, що за межами, позначають як потенційний викид. Для наших 24 покупців

Q_1 = 24

і

Q_3 = 56

, отже,

\text{IQR} = 32

. Верхня межа —

56 + 1{,}5 \times 32 = 104

долари, нижня —

24 - 48 = -24

долари (витрати не бувають від'ємними, тож знизу нічого не позначено).

Двоє покупців вище за $104: U-5115 ($110) і U-5120 ($240). Зауважте, що U-5115 витратив $110 за 4 замовлення: це схоже на захопленого власника котів, а не на бізнес. Правило позначає значення для уважнішого погляду, але не каже, що вони таке.

Оскільки межі побудовано з квартилів, самі викиди не можуть їх спотворити. У цьому головна сила правила.

Alex Tutor

Питання 3

Зіставте кожне незвичне значення з найрозумнішою дією.

Торкніться відповіді, а потім рядка, до якого вона належить. Можна й перетягувати.

Замовлення на 0,01 USD, зроблене розробником з офісної мережі
Пачка ласощів, записана за 2 990 USD замість 29,90 USD
Котокафе, яке замовляє 12 разів на квартал
Покупець-домогосподарство, що витратив утричі більше за медіану, у прогнозі виручки

Відповіді, які ще треба розмістити

Alex Tutor

x \notin \left[\, Q_1 - \tfrac{3}{2}\,\text{IQR},\;\; Q_3 + \tfrac{3}{2}\,\text{IQR} \,\right]

Правило Тьюкі: значення поза межами (3/2 = 1,5) — потенційний викид. Значення далі ніж 3 × IQR іноді називають екстремальними викидами.

Alex Tutor

Питання 4

У наборі даних про місячні кліки на рекламну кампанію $Q_1 = 120$ і $Q_3 = 200$ . Яка верхня межа за правилом Тьюкі, вище за яку кампанію позначають як потенційний викид?

Ваша відповідь

Одиниці: кліків

Alex Tutor

Інше популярне правило позначає значення, що відходять від середнього більш ніж на 3 SD. Воно непогано працює на великих дзвоноподібних даних. На малих або скошених даних у нього неприємна вада: викиди роздувають те саме SD, яким їх вимірюють.

У нашій вибірці середнє — $50, а SD — приблизно $47,7. U-5120 лежить на

(240 - 50) / 47{,}7 \approx 3{,}99

SD вище за середнє, тож його позначено, але ледь-ледь, і то лише тому, що він такий крайній. U-5115 — лише на 1,26 SD вище й виглядає цілком звичайно.

Тепер приберімо U-5120 і перерахуймо: середнє падає до $41,74, а SD — приблизно до $25,7. І раптом U-5115 уже на 2,65 SD від середнього. Одне крайнє значення ховало інше. Статистики називають це маскуванням. Правило IQR від нього не страждає, тому для щоденних продуктових даних воно краще за замовчуванням.

Alex Tutor

Питання 5

За набором даних Витрати нових покупців Котокорму за 90 днів: яку частку сумарних витрат за 90 днів (у %) дають двоє покупців, позначених правилом IQR? Округліть до одного знака після коми.

Ваша відповідь

Одиниці: %, напр. 12,5

Alex Tutor

Погляньте на графік ще раз. Значення скупчуються ліворуч і тягнуться довгим хвостом праворуч. Таку форму називають правосторонньою асиметрією (додатною скошеністю). У скошеному розподілі кілька значень у хвості тягнуть середнє до себе, а медіана лишається з більшістю:

Правостороння асиметрія (довгий хвіст праворуч): середнє > медіани. Тут $50 > $35.
Симетричний розподіл: середнє ≈ медіана.
Лівостороння асиметрія (довгий хвіст ліворуч): середнє < медіани.

Правостороння асиметрія в продуктових і маркетингових даних усюди, бо ці метрики мають жорстку нижню межу — нуль, — але не мають верхньої: виручка на покупця, сума замовлення, тривалість сесії, час до першої покупки, кількість замовлень, кількість підписників акаунта, вартість залучення з реклами. Якщо метрика про «скільки» чи «як довго» і не буває від'ємною, чекайте правого хвоста.

Лівостороння асиметрія рідша, але трапляється в оцінках у магазинах застосунків (більшість ставить 5 зірок, а хвіст — розлючені одиниці) і у «відсотку пройденого уроку», коли більшість доходить до кінця.

Порівняння середнього й медіани — евристика, а не закон: незвичні форми розподілу можуть її порушити. Якщо сумніваєтеся, побудуйте гістограму.

Alex Tutor

Питання 6

Час від реєстрації до першої покупки: середнє — 19 днів, медіана — 6 днів. Яку форму найімовірніше має цей розподіл?

Оберіть одну відповідьСиметричнуПравосторонню асиметрію: довгий хвіст повільних покупцівЛівосторонню асиметрію: довгий хвіст швидких покупцівНічого сказати не можна

Alex Tutor

Спершу подивіться, потім чіпайте. Відкрийте сирі рядки. Перевірте дати, ідентифікатори, кількість замовлень, валюту. Це баг, реальна людина чи інший тип покупця?
Виправте або видаліть помилки й задокументуйте це. Тестові замовлення, дублікати й описки видаляємо. Запишіть, що саме й чому ви прибрали, щоб інша людина отримала ті самі числа.
Обирайте підсумкову міру під запитання, а не для зручності.
- «Скільки виручки принесе червнева когорта?» Для сум потрібне середнє, разом із «китами».
- «Скільки витрачає типовий новий покупець?» Беріть медіану (тут $35) або усічене середнє.
- «Чи змінюється розподіл витрат?» Відстежуйте медіану разом із високим процентилем (p90).
Сегментуйте замість видаляти. Виділіть імовірні бізнеси (багато замовлень, великі кошики) в окремий сегмент. Домогосподарства й котокафе поводяться по-різному і заслуговують на окремі метрики.
Користуйтеся стійкими інструментами, коли крайнощі не головне. Медіана, IQR, усічене середнє або обмеження (капінг): значення вище, скажімо, 99-го процентиля замінюють самим 99-м процентилем (це ще називають вінзоризацією). Капінг поширений в A/B-тестах на виручку, де інакше одне величезне замовлення може вирішити результат.
Показуйте з викидами й без. «Середні витрати за 90 днів — $50, або $41,74 без одного бізнес-покупця». Два числа, повна чесність, і ніхто не звинуватить вас у підгонці.

Alex Tutor

Питання 7Коротка відповідь · Завдання з перевіркою ШІ

Поясніть у 2–4 реченнях, чому правило «більш ніж 3 SD від середнього» може пропускати викиди в малому скошеному наборі даних.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Alex Tutor

Питання 8Кейс · Завдання з перевіркою ШІ

Яке число має піти в бюджет на залучення і що робити з викидами? Спирайтеся на числа з набору даних.

Генеральна директорка Котокорму хоче встановити максимальну вартість залучення одного покупця з платної реклами. Її правило: «Можемо витратити до третини того, що новий покупець приносить за перші 90 днів». На слайді аналітика — середні витрати за 90 днів: $50, тож директорка готова погодити до $16,67 за покупця.

Керівник перформанс-маркетингу заперечує: «Це середнє роздуте парою дивних покупців. Беріть медіану, $35». Тоді стеля вартості залучення — $11,67.

За набором даних Витрати нових покупців Котокорму за 90 днів напишіть рекомендацію: що відбувається в даних, яке число ви візьмете для цього рішення і чому, що робити з викидами.

Дані для завдання: Витрати нових покупців Котокорму за 90 днів

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Графіки: як обрати правильний