Глосарій статистики

Прості визначення статистичних термінів, з якими продакт-менеджери й маркетологи стикаються в дашбордах, A/B-тестах і дослідженнях.

А

альтернативна гіпотеза (H1): Твердження, яке приймають, коли H0 відхилено: різниця чи ефект існує.
апостеріорний (post hoc) критерій: Попарне порівняння після значущого дисперсійного аналізу з контролем множинних порівнянь (Тьюкі, Бонферроні, Геймса-Ховелла).
апріорна та апостеріорна ймовірність: Апріорна ймовірність відображає уявлення до отримання даних; апостеріорна - уявлення після їх урахування.
асиметрія (скошений розподіл): Відсутність симетрії розподілу; за довгого правого хвоста (типово для виручки) середнє більше за медіану.

Б

баєсівська статистика: Підхід, що поєднує апріорні уявлення з новими даними (теорема Баєса) і дає оновлені, апостеріорні ймовірності.
базовий рівень: Поточне значення метрики в контролі; вхідний параметр для розрахунку обсягу вибірки.
бульбашкова діаграма: Діаграма розсіювання, у якій розмір точки кодує третю змінну.

В

вибірка: Частина генеральної сукупності, яку ми фактично спостерігаємо або вимірюємо.
вибірковий розподіл: Розподіл статистики (наприклад середнього) за багатьма гіпотетичними вибірками однакового обсягу.
викид: Спостереження, далеке від решти даних (поширене правило: далі ніж 1,5 IQR від квартилів); може спотворити середнє і стандартне відхилення.
відношення шансів: У скільки разів змінюються шанси на одиницю предиктора; експонента коефіцієнта логістичної регресії.
відсотковий пункт (в. п.): Одиниця абсолютної різниці між двома відсотками: з 4% до 5% це +1 в. п., але +25% відносно.
відстань Чебишова: Найбільший модуль різниці за будь-якою однією змінною.
відхилення: Різниця між значенням і середнім; сума відхилень завжди дорівнює нулю.
вільний член: b0: прогнозований результат, коли всі предиктори дорівнюють нулю.
власне значення: Скільки загальної дисперсії пояснює фактор (сума квадратів його навантажень).
внутрішньогрупова дисперсія: Мінливість спостережень навколо середнього власної групи; «шум» у дисперсійному аналізі.

Г

генеральна сукупність: Уся група, про яку ми хочемо робити висновки, наприклад усі теперішні та майбутні відвідувачі магазину.
гістограма: Графік розподілу кількісної змінної: суміжні стовпчики показують, скільки значень потрапляє в кожен інтервал.
головний ефект: Середній вплив одного фактора за всіма рівнями інших факторів.
графік кам'янистого осипу: Графік власних значень за номером фактора; фактори після «зламу» відкидають (критерій Кеттелла).

Д

двофакторний (багатофакторний) дисперсійний аналіз: Дисперсійний аналіз із двома чи більше факторами, що перевіряє кожен головний ефект і їх взаємодію.
дендрограма: Деревоподібна діаграма ієрархічної кластеризації; її розтин на обраній відстані дає кластери.
дискримінантний аналіз: Знаходить межі (дискримінантні функції), що найкраще розділяють відомі групи за предикторами; функцій на одну менше, ніж груп.
дисперсійний аналіз (ANOVA): Перевіряє, чи відрізняються середні трьох і більше груп, порівнюючи міжгрупову і внутрішньогрупову дисперсію.
дисперсійний аналіз із повторними вимірюваннями: Дисперсійний аналіз для трьох і більше вимірювань тих самих об'єктів; вилучає міжіндивідуальну мінливість із похибки.
дисперсія: Середній квадрат відхилення від середнього; вибіркова дисперсія ділиться на n - 1. Вимірюється у квадратних одиницях.
діаграма розмаху («ящик з вусами»): Діаграма, що показує медіану, міжквартильний розмах як прямокутник, «вуса» для основної маси даних і точки для викидів.
діаграма розсіювання: Діаграма з однією точкою на спостереження, розміщеною за значеннями двох кількісних змінних.
довірчий інтервал: Діапазон правдоподібних значень параметра; 95% довірчий інтервал будують методом, який охоплює справжнє значення у 95% повторних вибірок.
довірчий рівень: Частка інтервалів, що в довгостроковій перспективі містять справжнє значення, зазвичай 95%; дорівнює 1 - α.

Е

евклідова відстань: Відстань по прямій: квадратний корінь із суми квадратів різниць за змінними.
експериментальна група: Група, яка отримує тестовану зміну (варіант).
ефект взаємодії: Ситуація, коли вплив одного фактора залежить від рівня іншого, наприклад знижка діє на мобільних, але не на десктопі; видно як непаралельні лінії.
ефект новизни: Тимчасова зміна поведінки через те, що щось нове; вона згасає, тож короткі тести можуть перебільшити ефект.

З

залежна змінна (відгук): Змінна, яку модель пояснює або прогнозує, наприклад виручка на користувача.
залежні (парні) вибірки: Вимірювання, що утворюють пари, зазвичай ті самі користувачі до і після зміни.
залишок: Спостережуване значення мінус значення, передбачене моделлю.
захисна метрика: Метрика, яка не повинна погіршитися (наприклад повернення, швидкість сторінки), навіть якщо основна метрика покращилася.
зважене середнє: Середнє, у якому кожне значення враховується пропорційно до своєї ваги, наприклад середня конверсія сегментів, зважена за трафіком.
зменшення розмірності: Заміна багатьох корельованих змінних кількома узагальнювальними (факторами чи компонентами).
змінна: Властивість кожного спостереження, яку можна виміряти, наприклад сума замовлення, тривалість сесії чи факт конверсії.
змішувальний чинник (конфаундер): Третя змінна, що впливає і на гадану причину, і на результат, створюючи хибну кореляцію.
зміщення вибірки: Систематична відмінність між вибіркою і генеральною сукупністю через спосіб відбору спостережень.

І

ієрархічна кластеризація: Послідовно об'єднує найсхожіші спостереження чи кластери, доки не залишиться один; кількість груп заздалегідь знати не потрібно.
індекс лояльності NPS: Частка промоутерів (9-10) мінус частка критиків (0-6) у відповідях на питання «чи порекомендуєте ви» за шкалою 0-10; від -100 до 100.
інформаційний критерій (AIC, BIC): Показник для порівняння моделей, що заохочує точність і штрафує за кількість параметрів; що менше, то краще.

К

категоріальна змінна: Змінна, значення якої є мітками або групами, наприклад канал трафіку, тип пристрою чи тарифний план.
квартиль: Одна з трьох точок поділу (Q1, Q2 = медіана, Q3), що ділять упорядковані дані на чотири рівні частини.
кількісна (неперервна) змінна: Змінна, виміряна на числовій шкалі, для якої мають сенс арифметичні дії, наприклад виручка чи час на сторінці.
класифікація: Віднесення спостережень до відомих класів, наприклад прогноз того, чи піде користувач.
кластерний аналіз (кластеризація): Методи, що знаходять групи схожих спостережень без заздалегідь заданих міток, наприклад сегменти клієнтів.
клікабельність (CTR): Кількість кліків, поділена на кількість показів реклами, листа чи посилання.
коваріація: Середній добуток відхилень двох змінних від їхніх середніх; знак показує напрям зв'язку.
когорта: Група користувачів зі спільною початковою подією в одному періоді, наприклад усі, хто зареєструвався в березні.
коефіцієнт варіації: Стандартне відхилення, поділене на середнє; дає змогу порівнювати розкид метрик у різних масштабах.
коефіцієнт детермінації (R²): Частка дисперсії результату, пояснена моделлю, від 0 до 1.
коефіцієнт конверсії: Частка користувачів, які виконали цільову дію: конверсії / користувачі. Пропорція від 0 до 1.
коефіцієнт кореляції Пірсона (r): Вимірює силу лінійного зв'язку від -1 до +1; чутливий до викидів.
коефіцієнт нахилу (коефіцієнт регресії): b1: на скільки змінюється прогнозований результат, коли предиктор зростає на одиницю.
коефіцієнт рангової кореляції Спірмена (ρ): Коефіцієнт Пірсона, обчислений за рангами; вловлює монотонні зв'язки і стійкий до викидів.
коефіцієнт утримання: Частка користувачів, які залишаються активними через певний період, наприклад утримання на 30-й день.
контрольна група: Група, яка не отримує змін і слугує базою для порівняння.
контрольований експеримент: Дослідження, у якому дослідник сам призначає вплив, тож різницю між групами можна пояснити саме ним.
кореляційна матриця: Симетрична таблиця коефіцієнтів кореляції для кожної пари змінних з одиницями на діагоналі.
кореляція: Статистичний зв'язок двох змінних: коли одна зростає, інша має тенденцію зростати (додатна) або спадати (від'ємна).
критерій знаків: Порівнює кількість додатних і від'ємних змін «до-після», не зважаючи на їх розмір.
критерій Кайзера: Залишати лише фактори з власним значенням не менше 1.
критерій Тьюкі (HSD): Поширений апостеріорний критерій для порівняння всіх пар груп за рівних дисперсій.
критерій Фрідмана: Непараметрична альтернатива дисперсійному аналізу з повторними вимірюваннями: ранжує вимірювання кожного об'єкта і порівнює суми рангів.
критерій хі-квадрат Пірсона: Перевіряє зв'язок категоріальних змінних, підсумовуючи (спостережувана - очікувана)^2 / очікувана за всіма клітинками.
критичне значення: Значення статистики критерію, за межами якого H0 відхиляють за обраного α.
кругова діаграма: Коло, поділене на сектори, пропорційні часткам цілого; зрозуміла лише за невеликої кількості категорій.

Л

латентний фактор: Неспостережувана характеристика, яку виводять із корельованих індикаторів, наприклад «чутливість до ціни» за кількома відповідями опитування.
лінійна регресія: Модель, що прогнозує результат як лінійну функцію предиктора: y = b0 + b1 x.
логарифм шансів (логіт): Натуральний логарифм шансів; додатний, коли p > 0,5, і від'ємний, коли p < 0,5.
логістична регресія: Модель для результату «так/ні», що прогнозує логарифм шансів як лінійну функцію предикторів і повертає ймовірність.

М

мангеттенська відстань: Сума модулів різниць за змінними, як прогулянка сіткою вулиць; менш чутлива до викидів.
математична модель: Спрощений формальний опис системи, що дає змогу досліджувати сценарії без реальних експериментів.
матриця помилок: Таблиця 2x2 істинно та хибно позитивних і негативних результатів класифікатора.
медіана: Серединне значення впорядкованих даних (середнє двох серединних значень, якщо n парне); стійка до викидів.
метод головних компонент: Перетворює дані на нові некорельовані осі, впорядковані за поясненою дисперсією; поширений спосіб зменшення розмірності.
метод найменших квадратів: Підбирає лінію регресії, обираючи коефіцієнти, що мінімізують суму квадратів залишків.
метод k-середніх: Ділить дані на k кластерів, по черзі призначаючи точки найближчому центроїду і переміщуючи центроїди в середні кластерів.
метрика: Кількісний показник, який відстежують для продукту чи кампанії, наприклад конверсія, AOV, утримання чи CTR.
метрика відстані: Правило вимірювання несхожості спостережень: евклідова, мангеттенська чи відстань Чебишова.
міжгрупова дисперсія: Частина загальної мінливості, пояснена відмінностями між середніми груп.
міжквартильний розмах: Різниця Q3 і Q1: розкид центральних 50% даних; стійкий до викидів.
мінімальний виявлюваний ефект (MDE): Найменший ефект, який тест розраховано виявити із запланованою потужністю; менший MDE потребує більшої вибірки.
міра мінливості (розкиду): Число, що описує, наскільки значення відрізняються одне від одного: розмах, міжквартильний розмах, дисперсія чи стандартне відхилення.
міра центральної тенденції: Одне число, що описує типове значення змінної: середнє, медіана або мода.
множинна регресія: Регресія з кількома предикторами; кожен коефіцієнт показує вплив свого предиктора за незмінних інших.
мода: Значення, яке трапляється найчастіше; єдина міра центральної тенденції, придатна для категорій.
мультиколінеарність: Сильна кореляція між предикторами, через яку коефіцієнти регресії стають нестійкими і важко інтерпретованими.

Н

невідповідність співвідношення вибірок (SRM): Ситуація, коли фактичний розподіл між групами значуще відрізняється від запланованого (наприклад 50/50); сигналізує про зламаний експеримент.
незалежна змінна (предиктор): Змінна, за допомогою якої пояснюють чи прогнозують результат, наприклад рекламні витрати чи кількість сесій.
незалежні вибірки: Групи з різних, не пов'язаних між собою спостережень, наприклад користувачі варіанта A і варіанта B.
непараметричний критерій: Критерій без припущення про нормальність, зазвичай працює з рангами; стійкий до викидів і асиметрії.
нормальний розподіл: Симетричний дзвоноподібний розподіл; близько 68% значень лежать у межах 1 стандартного відхилення від середнього і близько 95% у межах 2.
нульова гіпотеза (H0): Початкове твердження про відсутність різниці чи ефекту, наприклад «новий checkout не змінює конверсію».

О

обертання факторів (ортогональне, косокутне): Обертання осей факторів, щоб кожна змінна мала велике навантаження лише на один фактор; ортогональне зберігає некорельованість факторів, косокутне дозволяє кореляцію.
обрізана вісь: Вісь значень, що починається не з нуля; перебільшує невеликі відмінності на стовпчикових діаграмах.
обсяг вибірки: Кількість спостережень (у кожній групі тесту); планують заздалегідь на основі α, потужності, базового рівня і MDE.
одиниця рандомізації: Сутність, яку призначають до варіанта (користувач, сесія, пристрій, магазин); аналіз слід проводити на тому самому рівні.
однобічний і двобічний критерій: Двобічний критерій виявляє різницю в будь-якому напрямку; однобічний лише в напрямку, заданому заздалегідь.
описова статистика: Показники та графіки, що підсумовують набір даних (типове значення, розкид, форму) без узагальнення за його межі.
основна метрика: Єдина метрика, обрана до запуску, за якою вирішують, чи переміг тест.
очікувана (теоретична) частота: Кількість у клітинці за умови незалежності змінних: сума рядка x сума стовпця / загальна сума.

П

парадокс Сімпсона: Тенденція, що є в кожній підгрупі, змінюється на протилежну після об'єднання груп через різні їх розміри.
параметр: Справжня (зазвичай невідома) характеристика генеральної сукупності, наприклад її середнє.
параметричний критерій: Критерій, що припускає певний розподіл (зазвичай нормальний) і працює із середніми та дисперсіями, наприклад t-критерій чи дисперсійний аналіз.
перевірка статистичних гіпотез: Процедура, яка визначає, чи дають дані достатньо свідчень проти нульової гіпотези.
перенавчання: Модель, що підлаштувалася під шум вибірки і погано прогнозує на нових даних; перевіряють на відкладених даних, обмежують за AIC/BIC.
підглядання (передчасна зупинка): Багаторазова перевірка результатів і зупинка тесту, щойно p < 0,05; значно підвищує частку хибнопозитивних результатів понад α.
планки похибок: Лінії навколо точкової оцінки, що показують стандартне відхилення, стандартну похибку або довірчий інтервал; завжди вказуйте, що саме.
плацебо: Імітація впливу, яка виглядає справжньою; відокремлює ефект зміни від ефекту очікування зміни.
поділ на навчальну і тестову вибірки: Побудова моделі на одній частині даних і оцінювання на даних, яких вона не бачила, щоб визначити реальну якість.
покрокова регресія: Будує модель, додаючи або вилучаючи предиктори по одному залежно від їхнього внеску.
полігон частот: Лінійний графік, що з'єднує частоти послідовних значень; зручний, коли значень багато.
поліноміальна (нелінійна) регресія: Регресія з квадратичними чи вищими степенями для опису криволінійних зв'язків, наприклад спадної віддачі від рекламних витрат.
помилка другого роду (хибнонегативний результат): Невідхилення хибної H0: пропуск реального ефекту. Її ймовірність позначають β.
помилка першого роду (хибнопозитивний результат): Відхилення правдивої H0: оголошення ефекту, якого немає. Її ймовірність дорівнює α.
поправка Бонферроні: Поділ α на кількість порівнянь, наприклад 0,05 / 3 = 0,017 для трьох перевірок.
поріг класифікації: Прогнозована ймовірність, вище за яку спостереження вважають позитивним; часто 0,5, але добирають з огляду на бізнес-витрати.
порядкова змінна: Категоріальна змінна, значення якої мають природний порядок, але нерівні інтервали, наприклад оцінка задоволеності від 1 до 5.
послідовне тестування: Схеми тестування зі скоригованими порогами, які дозволяють коректно переглядати дані під час тесту.
похибка оцінки (гранична похибка): Половина ширини довірчого інтервалу, наприклад близько 1,96 x SE для 95%.
практична значущість: Чи достатньо великий ефект, щоб мати значення для бізнесу; оцінюють за розміром ефекту і вартістю, а не за p-значенням.
припущення критерію: Умови коректності критерію, наприклад незалежність спостережень, приблизна нормальність, рівність дисперсій, відсутність екстремальних викидів.
приріст (абсолютний і відносний): Зміна метрики у варіанті порівняно з контролем: абсолютний приріст у відсоткових пунктах, відносний - у % від контролю.
причинність (кореляція не означає причинності): Причинно-наслідковий зв'язок; сама кореляція може виникати і через зворотну причинність, змішувальний чинник чи випадковість, тож причинність потребує експерименту.
проблема множинних порівнянь: Проведення багатьох перевірок (метрики, сегменти, варіанти) підвищує ймовірність, що хоча б одна дасть хибнопозитивний результат.
прогноз: Оцінка майбутнього значення на основі моделі, бажано з діапазоном невизначеності.
процентиль: Значення, нижче за яке лежить задана частка спостережень, наприклад 90-й процентиль часу завантаження сторінки.

Р

ранг: Позиція значення в упорядкованих даних; рангові критерії порівнюють позиції замість самих значень.
рандомізація: Випадковий розподіл одиниць між групами, завдяки якому групи порівнянні, а змішувальні чинники в середньому збалансовані.
репрезентативна вибірка: Вибірка, склад якої відтворює генеральну сукупність, тож результати можна узагальнювати; цьому сприяє випадковий відбір.
рівень значущості (α): Поріг для відхилення H0, що фіксується до тесту, зазвичай 0,05; дорівнює допустимій частці хибнопозитивних результатів.
розмах: Різниця між найбільшим і найменшим значенням; дуже чутливий до викидів.
розмір ефекту: Наскільки великою є різниця чи зв'язок незалежно від обсягу вибірки, наприклад абсолютний приріст, відносний приріст чи d Коена.
розподіл: Те, як часто трапляється кожне значення (або діапазон значень) змінної.

С

сегментація: Поділ користувачів чи клієнтів на групи з різною поведінкою, щоб працювати з кожною по-різному.
сезонність: Повторюваний патерн, пов'язаний із календарем, наприклад ефекти днів тижня чи святкові піки.
середнє арифметичне: Сума всіх значень, поділена на їх кількість; чутлива до викидів.
середній чек (AOV): Виручка, поділена на кількість замовлень; зазвичай має правосторонню асиметрію, тому викиди важливі.
спостереження: Одна виміряна одиниця в наборі даних (користувач, замовлення чи сесія); зазвичай один рядок таблиці.
стандартизація (масштабування): Перетворення змінних на z-оцінки, щоб змінні з великим масштабом не домінували у відстанях.
стандартна похибка: Стандартне відхилення вибіркового розподілу статистики; для середнього дорівнює SD / √n.
стандартне відхилення: Квадратний корінь із дисперсії; розкид у тих самих одиницях, що й дані.
статистика (оцінка): Число, обчислене за вибіркою, що оцінює параметр генеральної сукупності, наприклад вибіркове середнє.
статистика критерію: Число, обчислене за даними (t, U, F, хі-квадрат...), яке порівнюють із його розподілом за умови H0.
статистична значущість: Результат значущий, коли p < α; це означає, що ефект навряд чи є випадковим шумом, але не що він великий чи важливий.
статистична потужність: Імовірність того, що тест виявить реальний ефект заданого розміру; 1 - β, зазвичай планують 0,8.
статична і динамічна модель: Статична модель описує стан в один момент; динамічна - зміну з часом.
стовпчикова діаграма: Діаграма, що порівнює кількості або значення між категоріями окремими стовпчиками.
ступені свободи: Кількість значень, що можуть вільно змінюватися за фіксованих оцінених величин, наприклад n - 1 для однієї вибірки, n1 + n2 - 2 для двовибіркового t-критерію.

Т

таблиця спряженості: Таблиця кількостей для комбінацій двох категоріальних змінних, наприклад варіант x сконвертувався / ні.
таблиця частот: Таблиця, що містить кожне значення або інтервал і кількість спостережень у ньому.
точність і повнота: Точність: частка правильних серед спрогнозованих позитивних. Повнота: частка знайдених серед фактичних позитивних.

У

усічене середнє: Середнє, обчислене після відкидання фіксованої частки (наприклад 5-10%) найменших і найбільших значень.

Ф

фактор (у дисперсійному аналізі): Категоріальна пояснювальна змінна, рівні якої визначають групи, наприклад версія лендингу чи канал трафіку.
факторне навантаження: Кореляція між спостережуваною змінною і фактором.
факторний аналіз: Пояснює кореляції між багатьма спостережуваними змінними кількома прихованими факторами; застосовують для опитувань і зменшення розмірності.
функціональна і структурна модель: Функціональна модель пов'язує вхідні чинники з результатом (наприклад регресія); структурна описує складові результату.

Ц

центральна гранична теорема: За достатньо великих вибірок вибіркове середнє розподілене приблизно нормально, навіть якщо самі дані ні.
центроїд: Центр кластера: середнє його елементів за кожною змінною.

Ч

часовий ряд: Спостереження метрики, упорядковані в часі, наприклад щоденні замовлення; часто мають тренд і сезонність.
частка (пропорція): Частка спостережень із властивістю «так/ні»; її стандартна похибка дорівнює √(p(1 - p) / n).
частка хибних відкриттів (FDR): Очікувана частка хибнопозитивних серед значущих результатів; контролюється процедурою Бенджаміні-Гохберга.
частота (абсолютна і відносна): Кількість спостережень із певним значенням (абсолютна) або їх частка від загальної кількості (відносна, у %).

Ш

шанси: Імовірність події, поділена на ймовірність того, що вона не станеться: p / (1 - p).
шкала Лайкерта: Шкала оцінювання в опитуваннях, наприклад від 1 = зовсім не згоден до 5 = цілком згоден; порядкова змінна.

A

A/B-тест: Рандомізований контрольований експеримент, що розподіляє користувачів між контролем (A) та одним чи кількома варіантами (B) і порівнює метрику.

D

d Коена: Стандартизований розмір ефекту: різниця середніх, поділена на об'єднане стандартне відхилення.

F

F-критерій Фішера для рівності дисперсій: Відношення більшої вибіркової дисперсії до меншої; перевіряє, чи відрізняються групи за розкидом.
F-статистика (критерій Фішера): У дисперсійному аналізі - міжгруповий середній квадрат, поділений на внутрішньогруповий; великі значення означають відмінність груп.

H

H-критерій Краскела-Уолліса: Непараметрична альтернатива однофакторному дисперсійному аналізу, що ґрунтується на сумах рангів трьох і більше груп.

P

p-значення: Імовірність отримати результат, щонайменше такий самий екстремальний, як спостережуваний, якщо H0 правдива. Це не ймовірність того, що H0 правдива.

T

t-критерій Велча: Різновид двовибіркового t-критерію, що не припускає рівності дисперсій; безпечний вибір за замовчуванням.
T-критерій Вілкоксона: Непараметрична альтернатива парному t-критерію: ранжує модулі різниць і порівнює суми рангів додатних і від'ємних зсувів.
t-критерій Стьюдента для залежних вибірок: Перевіряє, чи дорівнює нулю середня різниця «до-після»: t = середня різниця / (стандартне відхилення різниць / √n).
t-критерій Стьюдента для незалежних вибірок: Порівнює середні двох незалежних груп: t = (середнє1 - середнє2) / стандартна похибка різниці.

U

U-критерій Манна-Вітні: Непараметричний критерій, що порівнює дві незалежні групи через об'єднання, ранжування і порівняння сум рангів.

Z

z-критерій для двох часток: Порівнює дві конверсії за нормальним наближенням: z = (p1 - p2) / стандартна похибка різниці.
z-оцінка (стандартизоване значення): На скільки стандартних відхилень значення віддалене від середнього: (x - середнє) / стандартне відхилення.