holdout-група (holdout group)

Також називають: holdout, холдаут, холдаут-група, контрольна група holdout

Невелика група, яку довго тримають без фічі чи кампанії, щоб виміряти її сукупний ефект після запуску.

Holdout-група (holdout group) — випадково вибрана частина користувачів, зазвичай 1–10%, яка не отримує фічу чи кампанію, коли всі інші отримують, і залишається без неї тижнями або місяцями. Порівняння решти з holdout-групою показує довгостроковий, сукупний ефект того, що ви запустили.

Вона відповідає на запитання, на які звичайний A/B-тест не відповість:

Чи ефект тривалий? Двотижневий тест ловить ефект новизни; holdout показує, чи приріст живий через три місяці.
Скільки разом дав набір змін? Глобальна holdout-група (global holdout), яку тримають осторонь усіх запусків кварталу, показує, чи десять «виграшних» тестів справді склалися в десять перемог.
Чи кампанія інкрементальна? У маркетингу holdout, що не отримує листів, пушів чи реклами, показує, скільки конверсій сталося б і так. Це найчистіший спосіб виміряти інкрементальність.

Ефект читають, як у будь-якому експерименті: різниця між користувачами з фічею й holdout-групою разом із довірчим інтервалом:

$\Delta = p_{\text{з фічею}} - p_{\text{holdout}}, \qquad SE = \sqrt{\frac{p_e(1-p_e)}{n_e} + \frac{p_h(1-p_h)}{n_h}}$

Ціна реальна: люди в holdout-групі не мають того, що працює, тож тримайте групу настільки малою, наскільки дозволяє потрібна точність, і заздалегідь призначте дату завершення. І рандомізуйте на правильному рівні. Якщо фіча впливає на всіх у спільному просторі, як-от у групі друзів, відкладайте цілі групи, інакше ефект просочиться в holdout через їхніх друзів.

Приклад

Halves запускає автоматичні нагадування про розрахунок для 40 000 активних користувачів, але відкладає 5% груп (2 000 користувачів), щоб ніхто в holdout-групі не отримував нагадувань і з боку друзів. Через 90 днів метрика — «записав розрахунок за останні 30 днів»:

Група	Користувачі	Розрахувалися	Частка
З нагадуваннями	38 000	13 680	13 680 / 38 000 = 36,0%
Holdout	2 000	640	640 / 2 000 = 32,0%

Ефект: $\Delta = 36{,}0\% - 32{,}0\% = 4{,}0$ в. п. (відносний приріст $4{,}0 / 32{,}0 = 12{,}5\%$ ).
Стандартна похибка: $SE = \sqrt{\frac{0{,}36 \times 0{,}64}{38\,000} + \frac{0{,}32 \times 0{,}68}{2000}} = \sqrt{0{,}00000606 + 0{,}0001088} \approx 0{,}0107$ .
95% інтервал: $4{,}0 \pm 1{,}96 \times 1{,}07 \approx 4{,}0 \pm 2{,}1$ , тобто від +1,9 до +6,1 в. п.

Тест при запуску показав +6 в. п. за перші два тижні; через три місяці ефект менший, але впевнено вищий за нуль. Ціна holdout-групи — приблизно $2000 \times 0{,}04 = 80$ користувачів, які за місяць не розрахувалися; Maya вирішила, що надійне довгострокове число того варте. (Оскільки користувачі згруповані, точний інтервал має враховувати кластеризацію, і вона його дещо розширює.)

Типові помилки

Невипадкова holdout-група. «Користувачі старих версій застосунку» чи «одна країна» відрізняються не лише фічею; обирайте holdout випадковим розподілом.
Просочування в holdout. Друзі в одній групі, спільні пристрої чи маркетинговий лист, пересланий колезі, показують фічу людям із holdout; рандомізуйте на тому рівні, де поширюється вплив.
Замала, щоб щось виміряти. 1% holdout у невеликому продукті не помітить реалістичного ефекту; розраховуйте розмір під ефект, який вам важливий.
Тримати вічно. Позбавляти людей робочої фічі — це витрати; призначте дату завершення й метрику до запуску.
Перебирати метрики, поки одна не зрушить. Заздалегідь назвіть одну основну метрику; решта — захисні (guardrails).