стандартна похибка
Стандартне відхилення вибіркового розподілу статистики; для середнього дорівнює SD / √n.
Стандартна похибка показує, наскільки статистика (вибіркове середнє, коефіцієнт конверсії) коливалася б, якби ми повторили те саме дослідження на новій вибірці. Формально це стандартне відхилення вибіркового розподілу цієї статистики. Для середнього:
де — вибіркове стандартне відхилення, а — обсяг вибірки. Для частки (наприклад, коефіцієнта конверсії) .
Головне — не плутати її зі стандартним відхиленням. Вони відповідають на різні запитання:
Стандартне відхилення — властивість ваших покупців, стандартна похибка — властивість вашого вимірювання. Більша вибірка не робить покупців схожішими, зате точніше фіксує середнє.
Стандартна похибка — цеглинка всього статистичного висновку. 95% довірчий інтервал — це приблизно оцінка , а t- і z-статистики ділять спостережувану різницю саме на стандартну похибку. Через корінь, щоб зменшити стандартну похибку вдвічі, потрібно вчетверо більше даних, а не вдвічі.
Приклад
Аналітик Котокорму дивиться на 225 замовлень минулого тижня: середнє $50,00, стандартне відхилення $15,00.
Ці два числа кажуть зовсім різне:
- SD = $15: окремі замовлення дуже відрізняються. Чимало замовлень — близько $35 чи $65, просто так купують люди.
- SE = $1: середнє відоме досить точно. 95% довірчий інтервал: , тобто від $48,04 до $51,96.
Тепер команда збирає вчетверо більше замовлень, , і стандартне відхилення знову виходить близько $15. Стандартна похибка стає 15 / \sqrt{900} = 15 / 30 = \0{,}5050 \pm 0{,}98, тобто від \49,02 до $50,98. Покупці такі ж різні, як і були; покращилося лише наше знання про середнє, і щоб зменшити похибку вдвічі, знадобилося вчетверо більше даних.
Для частки логіка та сама: 60 оформлених замовлень на 1000 сесій — це коефіцієнт конверсії 6,0% зі стандартною похибкою , тобто 0,75 відсоткового пункту.
Типові помилки
- Подавати стандартну похибку так, ніби вона описує покупців. «Сума замовлення коливається на ±$1» — хибна фраза, коли стандартне відхилення $15: $1 — це невизначеність середнього, а не розкид замовлень.
- Не підписувати, що саме показано на графіку. Планки похибок можуть показувати стандартне відхилення, стандартну похибку або 95% довірчий інтервал, і їхня довжина різниться в рази. Завжди підписуйте.
- Чекати, що стандартне відхилення зменшиться з більшою кількістю даних. Зменшується лише стандартна похибка. Якщо стандартне відхилення падає разом зі зростанням вибірки, перевірте, як збирають дані.
- Подвоювати вибірку, щоб удвічі зменшити невизначеність. Через для вдвічі меншої стандартної похибки потрібна вчетверо більша вибірка.
- Довіряти малій стандартній похибці зі зміщеної вибірки. Вона враховує лише випадкові коливання вибірки і нічого не каже про вибірку лише з користувачів застосунку чи лише з дня запуску.
Вивчити в курсі
- t-тест · Порівняння середніх двох груп і рішення, чи різниця більша за випадкову.
- Вибірки, генеральні сукупності та нормальний розподіл · Чому ми вивчаємо вибірки, щоб дізнатися про всіх користувачів, і чому дзвоноподібна крива трапляється всюди.
- Довірчі інтервали · Діапазон правдоподібних значень замість одного числа.
- Конверсія та тести для часток · Порівняння конверсії між варіантами й правильне прочитання приросту.
- Парні тести: до і після · Порівняння тих самих користувачів до і після зміни.