інкрементальність (incrementality)

Також називають: інкрементальний приріст, тест на інкрементальність

Та частина результату, яка сталася лише завдяки кампанії чи каналу; вимірюється порівнянням з holdout-групою або гео-тестом. Атрибутовані конверсії часто не інкрементальні.

Інкрементальність (incrementality) ставить причинне запитання: скільки з цих користувачів чи покупок не сталося б без кампанії? Атрибуція показує, якому каналу приписали заслугу; інкрементальність — що канал насправді додав. Розрив буває великим: брендова пошукова реклама, ретаргетинг людей, які й так збиралися повернутися, та пуш-нагадування часто отримують заслугу за конверсії, яких не спричинили.

Щоб це виміряти, потрібна група порівняння, яка кампанії не отримала:

Holdout-група на рівні користувачів. Випадково залиште частку аудиторії (скажімо, 10%) без реклами чи повідомлень. Підходить для власних каналів (пуші, імейли, підказки в застосунку) і для рекламних платформ, що пропонують дослідження приросту (lift studies).
Гео-тест. Увімкніть кампанію в одних регіонах і вимкніть (або зменште) в порівнянних, а потім зіставте. Він не потребує даних на рівні користувача, тож за нинішніх правил приватності це основний інструмент для платної реклами. Обирайте регіони, що поводилися схоже до тесту, і враховуйте їхню доперіодну різницю.
Вмикання й вимикання в часі. Поставте канал на паузу на певний період і стежте за загальним числом. Це найдешевший варіант і найслабший, бо сезонність та інші зміни відбуваються одночасно.

Базова арифметика:

$\text{інкрементальні конверсії} = \text{конверсії в тесті} - \text{очікувані конверсії без кампанії}$

$\text{інкрементальний CAC} = \frac{\text{витрати}}{\text{інкрементальні конверсії}}$

Коли вирішуєте бюджет, порівнюйте з LTV інкрементальний CAC, а не атрибутований. Сприймайте результат як оцінку з невизначеністю: у гео-тестах мало одиниць (регіонів), тож проводьте їх достатньо довго й повідомляйте діапазон, а не лише точкову оцінку.

Приклад

Theo проводить 4-тижневий гео-тест платних соцмереж. У 10 тестових регіонах реклама працює, у 10 підібраних контрольних — вимкнена. До тесту тестові регіони мали в 1,04 раза більше реєстрацій, ніж контрольні.

	Реєстрації за 4 тижні
Тестові регіони (реклама є)	5 200
Контрольні регіони (реклами немає)	4 000
Очікувано в тестових без реклами	4 000 × 1,04 = 4 160
Інкрементальні реєстрації	5 200 − 4 160 = 1 040

Витрати в тестових регіонах — $10 400, а звіти механізму магазину приписали платним соцмережам там 2 600 реєстрацій.

Атрибутована вартість реєстрації: $10 400 ÷ 2 600 = $4,00
Інкрементальна вартість реєстрації: $10 400 ÷ 1 040 = $10,00
Частка атрибутованих реєстрацій, що справді інкрементальні: 1 040 ÷ 2 600 = 40%

Платні соцмережі у 2,5 раза дорожчі, ніж показувала атрибуція. Якщо новий користувач Halves приносить близько $3,50 валового прибутку за 12 місяців, за нинішніх витрат канал збитковий, і перш ніж масштабувати, Theo варто перевірити менший бюджет або інші аудиторії.

Типові помилки

Вважати атрибутоване спричиненим. Ретаргетинг і брендовий пошук часто забирають заслугу за тих, хто й так прийшов би.
Ігнорувати різницю між регіонами до тесту. Враховуйте, як тестові й контрольні регіони співвідносилися до кампанії.
Закороткі чи замалі тести. Кілька регіонів за тиждень не відділять ефект від шуму; повідомляйте інтервал.
Тест під час зміни сезону чи просування в магазині. Зовнішні події б'ють по тестових і контрольних регіонах нерівно; уникайте їх або подовжуйте тест.
Виміряти раз і забути. Інкрементальність змінюється разом з обсягом витрат і аудиторією; повторюйте тест, коли змінюються бюджет чи таргетинг.