Перейти до змісту
КурсиУвійти
← Глосарій статистики

викид

Спостереження, далеке від решти даних (поширене правило: далі ніж 1,5 IQR від квартилів); може спотворити середнє і стандартне відхилення.

Викид — це спостереження, яке лежить далеко від решти даних. Це опис, а не вирок: позначка означає «придивіться до мене», а не «видаліть мене».

Як їх знайти. Повсякденний стандарт — правило міжквартильного розмаху: позначаємо все, що нижче Q1−1,5⋅IQRQ_1 - 1{,}5 \cdot \text{IQR} або вище Q3+1,5⋅IQRQ_3 + 1{,}5 \cdot \text{IQR}. Саме такі значення малюють окремими точками на діаграмі розмаху («ящику з вусами»). Оскільки межі побудовано на квартилях, самі викиди їх не спотворюють. Інше популярне правило — «далі ніж 3 стандартні відхилення від середнього» (тобто z-оцінка за межами ±3) — працює на великих даних у формі «дзвона», але підводить на малих чи скошених вибірках: викиди роздувають те саме стандартне відхилення, яким їх вимірюють. Хоч би яке правило ви обрали, ще й побудуйте графік: гістограма чи діаграма розсіювання покаже дивні значення, яких не зловить жоден поріг.

Що з ними робити, залежить від того, чому значення таке далеке:

  1. Помилка: тестове замовлення, дубль, ціна без десяткової коми, виручка не в тій валюті. Виправте чи вилучіть і запишіть, що саме зробили.
  2. Справжнє крайнє значення: реальний, дуже лояльний покупець. Значення правильне, а видалити його — однаково що вдавати, ніби ваших найкращих клієнтів не існує.
  3. Інша сукупність: котокафе чи перекупник серед домогосподарств. Дані справжні, але їм місце в окремому сегменті.

Викиди важливі, бо середнє, стандартне відхилення й дисперсія на них сильно реагують, а медіана й міжквартильний розмах майже не зсуваються. Показуйте ключові метрики з незвичними значеннями і без них, беріть стійкі міри, коли крайнощі не є предметом аналізу, і пам'ятайте: іноді викид і є головною знахідкою — B2B-сегментом, про який ви не знали, чи помилкою в трекінгу.

Приклад

Десять післяобідніх замовлень Котокорму за один день, після сортування: $26, $28, $30, $31, $33, $35, $36, $38, $40, $290.

Правило IQR. Нижня половина 26, 28, 30, 31, 33 дає Q1=30Q_1 = 30; верхня 35, 36, 38, 40, 290 дає Q3=38Q_3 = 38. Отже, IQR=8\text{IQR} = 8, нижня межа — 30−1,5×8=1830 - 1{,}5 \times 8 = 18, верхня — 38+1,5×8=5038 + 1{,}5 \times 8 = 50. Замовлення на $290 позначено як викид.

Правило трьох стандартних відхилень. Середнє — 587/10=58,70587 / 10 = 58{,}70 долара, вибіркове стандартне відхилення — близько 81,39, тож для замовлення на $290 маємо z=(290−58,7)/81,39≈2,84z = (290 - 58{,}7) / 81{,}39 \approx 2{,}84, і воно не позначається. Більше того, коли n=10n = 10, жодне значення не може мати ∣z∣|z| більше за (n−1)/n=9/10≈2,85(n - 1)/\sqrt{n} = 9 / \sqrt{10} \approx 2{,}85, тож на такій малій вибірці правило трьох стандартних відхилень не спрацює ніколи.

Розслідування. У рядку замовлення — 12 пачок сухого корму з доставкою в котокафе: дані справжні, але це інший тип покупця. У виручці замовлення лишається, а типовий чек показуємо окремо: «Середнє — $58,70, або $33,00 без одного B2B-замовлення (297/9297 / 9); медіана — $34». Якби з'ясувалося, що це $29,00, помилково введені як $290, замовлення треба було б виправити.

Типові помилки

  • Видаляти викиди рефлекторно. Якщо «вичистити» найбільших покупців, прогноз виручки зламається: в одній вибірці Котокорму 2 із 24 нових клієнтів принесли 29% виручки за 90 днів.
  • Покладатися на правило трьох стандартних відхилень на малих чи скошених вибірках. Викиди роздувають стандартне відхилення й можуть маскувати одне одного, а серед 10 значень жодне взагалі не досягне ∣z∣=3|z| = 3. За замовчуванням беріть правило IQR.
  • Вилучати значення, нічого не записавши. Якщо ніхто не бачить, що й чому ви прибрали, ніхто не зможе відтворити ваші числа. Фіксуйте кожне вилучення.
  • Вирішувати, що відкинути, уже після результатів A/B-тесту. Прибирати викиди лише тоді, коли це допомагає варіанту, — прямий шлях до хибних перемог. Зафіксуйте правило (наприклад, обмеження виручки 99-м процентилем) до старту тесту.
  • Вважати позначене значення помилкою. Правило каже лише «далеко від решти»; щоб відрізнити баг від «кита» чи окремого сегмента, перевірте сирий рядок.

Вивчити в курсі