Кореляція не означає причинності

Alex Tutor

Доброго ранку, Софіє. Минулого тижня ти питала, чи справді збільшення бюджету на рекламу дає більше замовлень. Перевіримо це цифрами, а не відчуттями.

Ви

Хіба це не очевидно? Більше грошей — більше замовлень. Питання закрите, так?

Alex Tutor

В аналітиці нічого не буває «очевидним», поки не подивишся на дані. Візьмемо десять тижнів рекламних витрат і замовлень із реклами.

Alex Tutor

Набір даних · 10 рядків

Тижневі рекламні витрати Котокорму та замовлення з реклами

Десять тижнів рекламних витрат і замовлень, віднесених до реклами. Синтетичні дані, створені для цього курсу; використовуються і в наступному уроці.

Завантажити CSV

Стовпці
week: Номер тижня
ad_spend_usd: Тижневі витрати на рекламу, USD
orders_from_ads: Замовлення, віднесені до реклами того тижня

Дані

week	ad_spend_usd	orders_from_ads
1	200	20
2	300	23
3	350	30
4	400	28
5	450	36

Показати ще 5 рядків

6	500	33
7	550	42
8	600	38
9	650	48
10	700	44

Кожен рядок — це один тиждень: скільки витратили на рекламу і скільки замовлень тому тижню зарахувала реклама.

Ви

То я просто... дивлюся оком, чи воно зростає?

Alex Tutor

Рекламні витрати й замовлення з реклами за 10 тижнівКожна крапка — один тиждень. Замовлень зазвичай більше в тижні з більшими рекламними витратами, але крапки не лежать на ідеальній прямій.

Дані графіка

Рекламні витрати, USD	Замовлення з реклами
200	20
300	23
350	30
400	28
450	36

Показати ще 5 рядків

500	33
550	42
600	38
650	48
700	44

Це діаграма розсіювання: одна крапка на тиждень, витрати по осі x, замовлення по осі y. Шукай загальний напрямок, а не ідеальну пряму.

Ви

Гаразд, вона явно піднімається вгору й праворуч. То це Ж пряма — більше витрат завжди означає більше замовлень!

Alex Tutor

Майже, але не зовсім. Крапки дрейфують угору, зі справжнім розсіюванням навколо цього дрейфу. Саме цей дрейф ми зараз точно виміряємо.

Alex Tutor

Питання 1

Подивись на діаграму розсіювання вище. Яке твердження найкраще описує візерунок?

Оберіть одну відповідьІдеальна пряма: кожен зайвий долар дає точно однакову кількість замовленьЗагальний дрейф угору з розсіюванням навколо нього: більші витрати зазвичай супроводжуються більшими замовленнями, але не точноЖодного візерунка: витрати й замовлення виглядають непов'язанимиДрейф униз: більші витрати супроводжуються меншою кількістю замовлень

Правильно — дрейф із розсіюванням. Тепер нам потрібне одне число, яке відображає і напрямок, і силу цього дрейфу.

Ви

А як взагалі порахувати таке число?

Alex Tutor

Для кожного тижня беремо, наскільки витрати відхиляються від свого середнього, і наскільки замовлення відхиляються від свого — по два відхилення на тиждень.

Перемножуємо ці два відхилення для кожного тижня. Якщо обидва зазвичай додатні разом (або обидва від'ємні разом), добуток додатний.

Alex Tutor

\text{cov}(x,y) = \frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})

Коваріація: середній добуток відхилень. Додатна означає, що змінні мають тенденцію рухатися разом; від'ємна — що в протилежних напрямках.

Ви

А якщо в одні тижні один напрямок, а в інші — інший? Хіба плюси й мінуси просто не скасують одне одного?

Alex Tutor

Якщо зв'язок реальний, після підсумовування за всі тижні один знак переважає. Якби витрати й замовлення були непов'язані, сума опинилася б близько нуля.

Alex Tutor

Питання 2

Якби рекламні витрати й замовлення з реклами були зовсім непов'язані, сума добутків відхилень за всі тижні опинилася б близько нуля.

ПравдаНеправда

Коваріація працює, але її одиниці — суцільна плутанина: долари, помножені на замовлення. Виправляємо це, поділивши на розкид обох змінних.

Alex Tutor

r = \frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x})^2 \sum (y_i-\bar{y})^2}}, \quad -1 \le r \le 1

Коефіцієнт кореляції Пірсона (r): коваріація, стандартизована до фіксованої шкали від -1 до 1, незалежно від одиниць виміру.

r = 1 — ідеальна пряма з додатним нахилом, r = -1 — ідеальна пряма з від'ємним, r = 0 — жодного лінійного зв'язку.

Ви

То яке r вважається «добрим» у реальному житті?

Alex Tutor

Потренуємося на невеликому прикладі, перш ніж братися за справжній набір даних.

Alex Tutor

Питання 3

П'ять сторінок товарів Котокорму показують від 1 до 5 відгуків покупців. Їхні конверсії (%): 1 відгук -> 9%, 2 -> 8%, 3 -> 10%, 4 -> 11%, 5 -> 12%. Обчисліть коефіцієнт кореляції Пірсона r між кількістю відгуків і конверсією.

Ваша відповідь

Одиниці: від -1 до 1, напр. 0,75

Чудово — і так, це r = 0,9 справді сильне. Проте реальні бізнес-дані рідко бувають такими охайними.

Ви

Тобто дані про рекламні витрати не будуть такими чистими?

Alex Tutor

Швидше за все, ні — десять тижнів включають свята, дії конкурентів, відсутність товару. Порахуймо r на реальному наборі даних вище й подивимось.

Та сама формула, просто десять тижнів замість п'яти точок. Функція CORREL() у таблиці порахує все за тебе.

Ви

Уже рахую.

Alex Tutor

Питання 4

За набором даних Тижневі рекламні витрати Котокорму та замовлення з реклами обчисліть коефіцієнт кореляції Пірсона r між ad_spend_usd і orders_from_ads.

Ваша відповідь

Одиниці: від -1 до 1, напр. 0,75

Сильний додатний зв'язок, підтверджений реальними цифрами. Але перш ніж бігти казати фінансовому директору «реклама спричиняє замовлення» — не поспішай.

Ви

Стривай, чому ні? Це ж величезне r!

Alex Tutor

Велике r лише каже, що дві величини рухаються разом. Воно ніколи не каже, яка з них — якщо взагалі якась — спричиняє іншу.

Alex Tutor

Пряма причинність — один варіант: більші витрати справді купують більше замовлень. Але можлива й зворотна причинність — задоволені покупці пишуть більше відгуків; відгуки не роблять їх задоволеними.

Ще буває змішувальний чинник: щось інше рухає обома величинами. Під час флеш-розпродажів сайт гальмує І замовлення злітають — розпродаж спричинив обидва, а не одне інше.

Ви

То як мені визначити, який саме варіант, тільки з графіка?

Alex Tutor

Зазвичай ніяк, лише з кореляції. Саме тому й існують контрольовані експерименти — один такий ти проведеш у модулі 3.

Alex Tutor

Питання 5

Зістав кожен сценарій із поясненням, яке йому найкраще підходить.

Торкніться відповіді, а потім рядка, до якого вона належить. Можна й перетягувати.

Котокорм піднімає ціни; контрольований тест цін показує, що замовлення падають саме через це
У передплатників із вищим NPS довший стаж — але, можливо, це давні клієнти просто дедалі більше вподобують продукт, а не навпаки
Час завантаження сайту і запити на повернення злітають в один і той самий день — обидва через сплеск трафіку під час розпродажу
Середня тривалість сну офісного кота випадково збігається зі щоденними замовленнями за один випадковий місяць

Відповіді, які ще треба розмістити

Гарна інтуїція. Ще дещо, перш ніж писати будь-яку рекомендацію.

Ви

Ще щось?!

Alex Tutor

Просто список перевірки: чи є правдоподібний змішувальний чинник? Чи може стрілка вказувати в інший бік? Чи достатня вибірка, щоб виключити випадковість? Чи розв'яже питання експеримент?

Ви

Гаразд, чотири запитання, перш ніж довіряти будь-якій кореляції. Зрозуміла.

Alex Tutor

Питання 6

Перш ніж довіряти сильній кореляції між рекламними витратами й замовленнями, які перевірки варто зробити? Оберіть усі, що підходять.

Оберіть усі правильні відповідіПеревірити, чи міг би очевидний змішувальний чинник (наприклад, сезонний розпродаж) пояснити обидві величиниРозглянути, чи може причинність діяти в протилежному напрямкуПрийняти причинність як доведену, бо r більше за 0,7Провести контрольований експеримент (A/B-тест), якщо рішення достатньо дороге, щоб це виправдати

Alex Tutor

Хороший список. Тепер сформулюй це словами — уяви, що пояснюєш це комусь, хто не бачив цей чат.

Ви

Мені писати цілий твір?

Alex Tutor

Ні — кілька чесних речень кращі за довге, яке ухиляється від суті.

Ось твоє перше завдання.

Alex Tutor

Питання 7Коротка відповідь · Завдання з перевіркою ШІ

Колега каже: «У замовлень і рекламних витрат r = 0,95, тож більші витрати спричиняють більше замовлень. Потроїмо бюджет». Що не так із цим міркуванням і що б ти перевірила спершу? Відповідь — 2-4 речення.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Гарна інтуїція — побоювання щодо екстраполяції тут якраз доречне. Тепер до справжньої рекомендації.

Ви

Ну звісно, ніякого тиску.

Alex Tutor

У тебе є все потрібне: графік, r і чотири способи, якими кореляція може ввести в оману. Користуйся ними.

Ось сценарій.

Alex Tutor

Питання 8Кейс · Завдання з перевіркою ШІ

Напиши свою рекомендацію керівництву Котокорму щодо зв'язку між рекламними витратами й замовленнями.

Керівник маркетингу Котокорму побачив r = 0,95 між тижневими рекламними витратами й замовленнями з реклами (набір даних Тижневі рекламні витрати Котокорму та замовлення з реклами) і хоче потроїти рекламний бюджет наступного кварталу, стверджуючи, що кореляція «доводить», що витрати спричиняють замовлення. Напиши коротку рекомендацію: що кореляція показує, а що ні, принаймні одне альтернативне пояснення, яке варто виключити, і що б ти хотіла побачити, перш ніж погоджуватися на потроєння бюджету.

Дані для завдання: Тижневі рекламні витрати Котокорму та замовлення з реклами

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Гарна робота сьогодні, Софіє. Кореляція каже нам, наскільки сильно дві речі рухаються разом. Наступного разу — регресія, яка точно скаже, скільки замовлень купує кожен зайвий долар.

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Лінійна регресія