зсув структури (mix shift)

Також називають: ефект структури, структурний зсув, зміна складу аудиторії, mix shift

Зміна середнього чи частки через зміну складу групи, а не поведінки. Приклад: витрат на активного користувача стає менше, бо прийшла хвиля нових користувачів.

Майже кожна продуктова частка чи середнє (конверсія, середній чек, утримання, stickiness) — це зважене середнє за сегментами: каналами, платформами, країнами, тригерами paywall, новими й старими користувачами. Якщо змінюються ваги, змінюється й підсумок, навіть коли жоден сегмент не змінився. Це і є зсув структури (mix shift).

$\bar r = \sum_i w_i \, r_i$

де $w_i$ — частка сегмента $i$ у загальній кількості, а $r_i$ — його показник. При переході від періоду 0 до періоду 1 зміна точно розкладається на дві частини:

$\Delta \bar r = \underbrace{\sum_i \left(w_i^{1} - w_i^{0}\right) r_i^{0}}_{\text{ефект структури}} + \underbrace{\sum_i w_i^{1} \left(r_i^{1} - r_i^{0}\right)}_{\text{ефект показника}}$

Ефект структури — це те, як змінився б підсумок, якби кожен сегмент зберіг старий показник; ефект показника — справжня зміна поведінки, зважена за новою структурою. Коли вони тягнуть у різні боки, підсумок може рухатися в один бік, а кожен сегмент — в інший: крайній випадок відомий як парадокс Сімпсона.

Зсуви структури в продуктових даних трапляються постійно: партнерська промоакція приводить людей, які прийшли по бонус,, і нова версія виглядає гіршою; сезонна хвиля мандрівників знижує stickiness; рекламна кампанія на дешевшому ринку зменшує дохід на користувача. Захищає проста звичка: перш ніж пояснювати зміну підсумку, розбийте його за очевидними сегментами і перевірте, чи змінилися ваги. Подавайте результат і як є, і з поправкою на структуру (за фіксованих ваг).

Приклад

Частка тих, хто починає тріал на paywall Halves, з травня до червня зростає, і команда дизайну готова записати це собі в заслугу. Розбиваємо за тим, що викликало paywall:

Тригер	Травень: бачили	Травень: частка тріалів	Червень: бачили	Червень: частка тріалів
receipt_scan	1 000 (50%)	8,0% → 80 тріалів	1 800 (75%)	7,5% → 135 тріалів
settings	1 000 (50%)	3,0% → 30 тріалів	600 (25%)	3,0% → 18 тріалів
Разом	2 000	110 / 2 000 = 5,5%	2 400	153 / 2 400 = 6,375%

Підсумок зріс на 6,375% − 5,5% = +0,875 в. п. Розкладаємо:

Ефект структури (старі показники, зміна ваг): (0,75 − 0,50) × 8,0% + (0,25 − 0,50) × 3,0% = 2,0% − 0,75% = +1,25 в. п.
Ефект показника (нові ваги, зміна показників): 0,75 × (7,5% − 8,0%) + 0,25 × (3,0% − 3,0%) = −0,375 в. п.
Перевірка: 1,25 − 0,375 = 0,875 в. п. ✓

Нова промоакція сканування чеків відправила більше людей на paywall через тригер, який конвертує найкраще. Сам paywall для тих, хто сканує, став трохи гіршим (8,0% → 7,5%). Без розбивки команда винесла б хибний урок.

Типові помилки

Пояснювати підсумок, не розбивши його. Перш ніж хвалити чи звинувачувати фічу, перевірте, чи змінилися частки сегментів.
Розбивати за не тими сегментами. Беріть виміри, від яких залежить показник (канал, платформа, тригер, нові чи старі користувачі), а не будь-що, що пропонує дашборд.
Порівнювати версії під час хвилі трафіку. Партнерська промоакція чи кампанія змінюють, хто приходить; порівнюйте подібне з подібним або проводьте рандомізований тест.
Показувати лише сире число. Додайте поруч значення з поправкою на структуру, щоб було видно, скільки дає поведінка, а скільки — склад.
Вважати сегменти стабільними. Показники сегментів теж дрейфують; розкладання показує обидва ефекти, тож рахуйте обидва.