Калькулятор довірчого інтервалу для конверсії

Конверсія, виміряна на вибірці, є оцінкою. Інша вибірка такого самого розміру дала б трохи іншу конверсію. Довірчий інтервал показує, наскільки далеко справжня конверсія правдоподібно може бути від виміряної.

Що більше учасників, то вужчий інтервал. Що вищий рівень довіри, то він ширший: 99% охоплює ширше, ніж 90%.

Вкладка «Спланувати точність» відповідає на зворотне запитання: скільки учасників потрібно, щоб інтервал сягав не далі за обрану похибку в кожен бік.

Лендинг відвідали 1000 людей, і 50 з них зареєструвалися: конверсія 5,0%.

Довірчий інтервал 95% простягається від 3,8% до 6,5%. Він сягає на 1,2 пункта нижче від конверсії і на 1,5 пункта вище: біля 0% інтервали несиметричні, бо конверсія не може бути меншою за нуль.

Щоб визначити конверсію близько 5% з точністю ±1 відсотковий пункт на рівні 95%, заплануйте приблизно 1825 відвідувачів.

Калькулятор використовує інтервал Вілсона без поправки на неперервність. Тут p = x / n, а q є квантилем нормального розподілу для обраного рівня (1,96 для 95%):

denom = 1 + q² / n
centre = (p + q² / (2n)) / denom
half = q × √(p(1 − p) / n + q² / (4n²)) / denom
lower = centre − half,  upper = centre + half

Поширена формула з підручників, конверсія ± 1,96 × стандартна похибка, для малих конверсій дає неможливі значення нижче 0%, а за 0 конверсій дає діапазон нульової ширини. Інтервал Вілсона завжди лишається між 0% і 100%, дає справжню верхню межу за 0 конверсій і лежить в основі калькулятора результатів A/B-тесту, тож обидва інструменти узгоджені.

Для планування використано нормальне наближення n = q² × p(1 − p) / m² з округленням угору, де m є похибкою у вигляді частки.

Що означає довірчий інтервал 95%?

Він описує метод, а не один конкретний діапазон: якщо повторити вимірювання багато разів, приблизно 95% інтервалів, побудованих цим методом, охоплять справжню конверсію. Це не означає, що справжня конверсія з імовірністю 95% лежить у діапазоні, який ви бачите, і значення посередині не обов’язково ймовірніші.

Чому діапазон несиметричний навколо малої конверсії?

Конверсія не може бути меншою за 0%. Біля нуля інтервал має більше простору вгору, ніж униз, тому він розтягується вгору. Біля 100% відбувається те саме в протилежному напрямку.

Чому не використати просто конверсію ± 2 стандартні похибки?

Ця формула працює для конверсій, далеких від 0% і 100%, і для великих вибірок. Для малих конверсій вона може дати від’ємну нижню межу, а за 0 конверсій дає діапазон нульової ширини, ніби результат цілком точний. Інтервал Вілсона не має обох вад.

Який рівень обрати: 90, 95 чи 99%?

Стандартний вибір 95%. Обирайте 99%, коли помилка дорого коштує і ширший діапазон прийнятний, а 90% для швидкої грубої оцінки. Визначтеся з рівнем до того, як дивитися на дані.

Інтервал надто широкий. Що робити?

Зібрати більше даних: ширина зменшується приблизно як квадратний корінь із кількості учасників, тож щоб звузити інтервал удвічі, потрібно вчетверо більше людей. Вкладка «Спланувати точність» покаже, скільки учасників потрібно для заданої похибки.

Чи можна порівняти два варіанти за двома інтервалами?

Надійно ні. Два інтервали можуть перетинатися навіть тоді, коли різниця між варіантами значуща. Щоб порівняти два варіанти, потрібен інтервал для самої різниці; його дає калькулятор результатів A/B-тесту.

Для різниці між A і B, з її інтервалом і p-значенням: калькулятор результатів A/B-тесту

• довірчий інтервал
• стандартна похибка

• Калькулятор результатів A/B-тесту

  Прочитати результати завершеного тесту з двома варіантами.

• Калькулятор розміру вибірки для A/B-тесту

  Планування для двох варіантів (A/B) до початку тесту.

• Калькулятор вибірки для опитування

  Спланувати, скільки відповідей потрібно для опитування, або оцінити їхню точність.