z-оцінка (стандартизоване значення)
На скільки стандартних відхилень значення віддалене від середнього: (x - середнє) / стандартне відхилення.
z-оцінка перекладає значення мовою «на скільки стандартних відхилень воно віддалене від середнього». Формула:
де — значення, — середнє, — стандартне відхилення. Для вибіркових даних беруть і . z-оцінка 0 означає рівно середнє значення, — на два стандартні відхилення вище, — на одне нижче. Одиниці вимірювання скорочуються, тож сума замовлення в доларах і тижнева кількість замовлень стають порівнянними числами на одній шкалі. Саме тому z-оцінки використовують і для стандартизації перед кластеризацією чи регресією.
Друге застосування — читати значення за нормальною кривою. Якщо величина розподілена приблизно нормально, z-оцінка через таблицю стандартного нормального розподілу (або функція NORM.S.DIST в Excel) показує, яка частка значень лежить нижче. Кілька орієнтирів, які варто пам'ятати:
Чимало статистик критеріїв — це замасковані z-оцінки. z-критерій для двох часток в A/B-тесті ділить спостережувану різницю коефіцієнтів конверсії на її стандартну похибку, тобто питає, на скільки стандартних похибок результат відійшов від «різниці немає». Тому у двобічному критерії відповідає .
Застереження: перетворювати z-оцінку на процентиль можна лише тоді, коли дані близькі до нормальних. Для скошених метрик, як-от витрати на покупця, z-оцінка все одно вимірює відстань у стандартних відхиленнях, але відсотки з таблиці будуть хибними.
Приклад
Читаємо одне замовлення. Припустімо, суми замовлень у Котокормі розподілені приблизно нормально з \mu = \50\sigma = $12$.
- Замовлення на $74: . За таблицею нижче від лежить 97,7% значень, тож лише близько 2,3% замовлень такі самі або більші.
- Замовлення на $41: . За таблицею нижче лежить близько 22,7%, тобто менше за нього приблизно кожне четверте-п'яте замовлення.
Порівнюємо непорівнянне. Минулого тижня команда зростання побачила два стрибки і хоче зрозуміти, який незвичніший:
- Замовлення: 1360 при звичному тижневому середньому 1200 і стандартному відхиленні 80, отже .
- Середній чек: $53 при звичних $50 і стандартному відхиленні $2, отже .
У сирих числах «+160 замовлень» і «+$3» не порівняти. У z-оцінках кількість замовлень відхилилася сильніше: такий високий тиждень трапляється приблизно у 2,3% випадків, а такий стрибок середнього чека — приблизно в 6,7%. Отже, спершу варто розібратися саме зі сплеском замовлень.
Типові помилки
- Брати процентилі з нормальної таблиці для скошених даних. z = 2 для витрат за 90 днів не означає «топ-2,3%»: за довгого правого хвоста реальна частка може бути зовсім іншою.
- Плутати в знаменнику стандартне відхилення і стандартну похибку. Для окремого значення ділять на стандартне відхилення, а для вибіркового середнього чи різниці в A/B-тесті — на стандартну похибку.
- Дозволяти викидам задавати масштаб. Одне величезне замовлення роздуває і середнє, і стандартне відхилення, тож інші незвичні значення отримують скромні z-оцінки (маскування). Для пошуку викидів надійніші стійкі правила, як-от межі за міжквартильним розмахом.
- Вважати |z| > 2 ознакою, що «щось сталося». Якщо щотижня переглядати 50 метрик на дашборді, парочка перетне 2 суто випадково.
- Забувати про знак. z = −2 так само незвичне, як і +2, просто в інший бік; заздалегідь вирішіть, чи вас цікавлять обидва хвости.
Вивчити в курсі
- Вибірки, генеральні сукупності та нормальний розподіл · Чому ми вивчаємо вибірки, щоб дізнатися про всіх користувачів, і чому дзвоноподібна крива трапляється всюди.
- p-значення та значущість · Що насправді каже p-значення, чого воно не каже, і статистична значущість проти практичної.
- Кластеризація для сегментації користувачів · Як дати даним підказати сегменти користувачів замість того, щоб їх вгадувати.