Аналіз «до і після»: як чесно порівнювати версії

Maya

Версія 4.9.0 вийшла в понеділок, 11 травня, з новим сценарієм першої витрати. Мій дашборд каже, що утримання на другому тижні впало з 29% до 15%. Ми щось зламали?

Ви

А може, просто поділити сьогоднішніх користувачів за версією? Усі на 4.9.0 проти всіх, хто досі на 4.8.0: той самий тиждень, та сама погода.

Alex Tutor

Це найспокусливіший варіант, і він перекошений ще до початку. Ніхто не тягнув жереб, кому дістанеться оновлення. Ті, хто відкриває Halves раз на кілька днів, отримують 4.9.0 за день-два, часто автоматично; ті, хто відійшов, тижнями сидять на 4.8.0. На боці 4.9.0 зібралися найвідданіші користувачі.

Ви

Тобто нова версія «виграла» б, навіть якби нічого не змінила.

Alex Tutor

Так: групи відібрали себе самі. Це спостережне порівняння (observational comparison), а не підкидання монетки, тож чесність доведеться вбудувати самим. Беремо нових користувачів, згрупованих за датою реєстрації: новачок встановлює ту версію, яка актуальна, тож версію визначає дата, а не ентузіазм. Далі ще два правила: те саме фіксоване вікно для кожної когорти і лише когорти, які прожили його повністю.

Alex Tutor

Питання 1

Яке порівняння версій 4.8.0 і 4.9.0 достатньо чесне, щоб його читати?

Оберіть одну відповідьКористувачі цього тижня на 4.9.0 проти користувачів цього тижня, які досі на 4.8.0Усі активні користувачі травня проти всіх активних користувачів квітняНові користувачі за датою реєстрації, до і після 11 травня, активні на 8–14-й день, лише завершені когортиНові користувачі до і після 11 травня, «повернулися будь-коли після реєстрації»

Alex Tutor

Ось щоденні когорти реєстрацій з 13 квітня до 31 травня, вивантажені вранці 1 червня. Утримання тут — відкрити застосунок хоча б в один із днів 8–14 після реєстрації; день реєстрації — день 0.

Alex Tutor

Набір даних · 49 рядків

Щоденні когорти реєстрацій навколо версії 4.9.0

Нові користувачі Halves з 13 квітня до 31 травня 2026 року, один рядок на день реєстрації. Версія 4.9.0 вийшла 11 травня. Дані вивантажено вранці 1 червня.

Завантажити CSV

Стовпці
signup_date: День реєстрації (день 0)
app_version: Версія, яку нові користувачі встановили того дня
days_observed: Скільки днів після дня реєстрації видно на 1 червня
new_users: Нові користувачі того дня
returned_any_time: Відкрили застосунок будь-якого пізнішого дня до 31 травня
active_days_8_14: Відкрили застосунок хоча б в один із днів 8–14 (станом на зараз)

Дані

signup_date	app_version	days_observed	new_users	returned_any_time	active_days_8_14
2026-04-13	4.8.0	48	72	42	15
2026-04-14	4.8.0	47	75	52	23
2026-04-15	4.8.0	46	70	51	25
2026-04-16	4.8.0	45	77	56	31
2026-04-17	4.8.0	44	70	50	16

Показати ще 44 рядки

2026-04-18	4.8.0	43	105	82	26
2026-04-19	4.8.0	42	97	65	33
2026-04-20	4.8.0	41	76	41	16
2026-04-21	4.8.0	40	75	47	21
2026-04-22	4.8.0	39	66	53	21
2026-04-23	4.8.0	38	76	54	19
2026-04-24	4.8.0	37	72	44	16
2026-04-25	4.8.0	36	88	58	27
2026-04-26	4.8.0	35	94	74	31
2026-04-27	4.8.0	34	69	37	23
2026-04-28	4.8.0	33	74	51	23
2026-04-29	4.8.0	32	72	54	29
2026-04-30	4.8.0	31	69	47	24
2026-05-01	4.8.0	30	66	43	18
2026-05-02	4.8.0	29	101	59	22
2026-05-03	4.8.0	28	97	65	34
2026-05-04	4.8.0	27	69	44	22
2026-05-05	4.8.0	26	70	38	19
2026-05-06	4.8.0	25	69	52	21
2026-05-07	4.8.0	24	78	46	18
2026-05-08	4.8.0	23	68	47	14
2026-05-09	4.8.0	22	105	66	27
2026-05-10	4.8.0	21	89	58	24
2026-05-11	4.9.0	20	78	41	23
2026-05-12	4.9.0	19	70	40	23
2026-05-13	4.9.0	18	76	50	26
2026-05-14	4.9.0	17	71	46	20
2026-05-15	4.9.0	16	74	48	24
2026-05-16	4.9.0	15	94	51	27
2026-05-17	4.9.0	14	88	59	29
2026-05-18	4.9.0	13	76	51	24
2026-05-19	4.9.0	12	79	46	18
2026-05-20	4.9.0	11	76	50	14
2026-05-21	4.9.0	10	74	44	11
2026-05-22	4.9.0	9	75	39	9
2026-05-23	4.9.0	8	93	53	5
2026-05-24	4.9.0	7	87	51	0
2026-05-25	4.9.0	6	66	30	0
2026-05-26	4.9.0	5	76	24	0
2026-05-27	4.9.0	4	76	23	0
2026-05-28	4.9.0	3	73	25	0
2026-05-29	4.9.0	2	79	14	0
2026-05-30	4.9.0	1	96	0	0
2026-05-31	4.9.0	0	89	0	0

Ви

Когорта від 25 травня має days_observed = 6. Її 8-й день ще навіть не настав, тож її нуль нічого не означає.

Alex Tutor

Саме так. А когорта, у якої видно 10 днів, побачила лише частину свого вікна. Потрібно, щоб days_observed було щонайменше 14.

Alex Tutor

Питання 2

Скільки когорт версії 4.9.0 прожили свої дні 8–14 повністю до ранку 1 червня?

Ваша відповідь

Одиниці: когорт

Alex Tutor

Почніть з 4.8.0: усі 28 її когорт завершені. Підсумуйте active_days_8_14 і new_users, потім поділіть. Спочатку сума: якщо усереднити щоденні частки, малі дні важитимуть стільки ж, скільки великі.

Ви

Тобто тихий вівторок і людна субота важать за кількістю своїх користувачів, а не однаково.

Alex Tutor

Так. Об'єднуємо користувачів і ділимо один раз.

Alex Tutor

Питання 3

Яка частка нових користувачів версії 4.8.0 була активна на 8–14-й день? У відсотках, до сотих.

Ваша відповідь

Одиниці: %

Maya

А мої 15% для 4.9.0?

Alex Tutor

Це всі 21 когорта 4.9.0, 14 з яких ще неможливо було повністю порахувати. Більша частина вашого падіння — це календар, а не код. Беремо лише сім завершених когорт.

Ви

Отже, з 11 до 17 травня. Ті самі суми, те саме ділення.

Alex Tutor

Питання 4

Тепер лише завершені когорти 4.9.0 (11–17 травня). Яка частка була активна на 8–14-й день? У відсотках, до сотих.

Ваша відповідь

Одиниці: %

Theo

У моєму звіті — «повернулися будь-коли»: 66,8% для 4.8.0 проти 47,1% для 4.9.0. Це теж падіння.

Alex Tutor

Когорта із середини квітня мала шість тижнів, щоб повернутися хоч раз; когорта з кінця травня — кілька днів. Ця колонка вимірює вік когорти, а не версію.

Ви

Тобто метрика без фіксованого горизонту завжди на боці старших когорт.

Alex Tutor

Питання 5

«Повернувся будь-коли після реєстрації» — чесна метрика для порівняння когорт 4.8.0 і 4.9.0, бо вона використовує всі наявні дані.

ПравдаНеправда

Maya

Отже, 4.9.0 насправді краща? +2,33 пункти?

Alex Tutor

Обережно, двічі. По-перше, випадковість: сім днів, 551 користувач. Інтервал на основі Вілсона для різниці — приблизно від −1,9 до +6,7 п. п. Це може бути невелика втрата або помітний виграш.

По-друге, навіть вузький інтервал враховує лише випадковість. Усе інше, що змінилося в травні, — канікули, кампанія, погода — сидить у тому самому числі. Порівняння «до і після» може показати різницю, але не доводить, що її спричинив реліз.

Ви

Тоді чесна відповідь: ми нічого не зламали, але й не можемо поки стверджувати, що покращили.

Alex Tutor

Питання 6Коротка відповідь · Завдання з перевіркою ШІ

Дайте відповідь на питання Maya «Чи зламала 4.9.0 утримання на другому тижні?» у 3–5 реченнях. Використайте числа з уроку, поясніть, чому її 15% вводять в оману і що це порівняння може і чого не може підтвердити.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Поставте дату в календар: за два тижні завершеними будуть 21 когорта 4.9.0 замість семи. Ті самі правила, точніше число.

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Структура трафіку і сезони