Логістична регресія та класифікація

Alex Tutor

Досі ми прогнозували число: замовлення, виручку. Але відтік — це «так» чи «ні». Чи можна й тут використати пряму лінію?

Ви

Звісно, просто підбираємо пряму, де y = 1 для тих, хто пішов, і 0 для тих, хто лишився?

Alex Tutor

Спробуй — і пряма спокійно прогнозує щось на кшталт 1,3 або -0,2. Це не ймовірності, і зв'язок біля країв узагалі не прямолінійний.

Ви

То що використовувати натомість?

Alex Tutor

S-подібну криву, яка завжди затиснута між 0 і 1, — логістичну регресію.

Alex Tutor

Питання 1

У чому головна проблема, якщо підібрати звичайну лінійну регресію для результату «так/ні», закодованого як 0 і 1?

Оберіть одну відповідьВона може прогнозувати значення нижче 0 або вище 1, які не є коректними ймовірностямиЇї взагалі не можна обчислити для результату 0/1Вона завжди дає точно той самий коефіцієнт, що й логістична регресіяВона потребує більше даних, ніж логістична регресія

Щоб побудувати цю криву, спершу потрібен прийом, який перетворює ймовірність на щось, що може набувати значень від мінус до плюс нескінченності.

Почнемо із шансів: імовірність події, поділена на ймовірність того, що вона не станеться.

Alex Tutor

\text{odds} = \frac{p}{1-p}

Шанси перетворюють ймовірність від 0 до 1 на число від 0 до нескінченності: у скільки разів подія ймовірніша за протилежну.

Ви

То якщо 80% схожих клієнтів ідуть, шанси... 4?

Alex Tutor

Точно — 0,8 / 0,2 = 4. Шанси 4 означають, що відтік учетверо ймовірніший за те, що клієнт лишиться.

Alex Tutor

Питання 2

Якщо ймовірність відтоку клієнта дорівнює 0,8, які шанси відтоку?

Ваша відповідь

Одиниці: напр. 2,0

Шанси все ще від 0 до нескінченності. Береш натуральний логарифм шансів — і тепер вони центровані на нулі й необмежені в обидва боки.

Alex Tutor

\ln(\text{odds}) = b_0 + b_1 x

Логарифм шансів (логіт): саме цю лінійну частину й підбирає логістична регресія.

Ви

І саме цей логарифм шансів прогнозує регресія?

Alex Tutor

Так. Підбираємо його так само, як лінійну регресію, а потім пропускаємо крізь формулу, яка стискає його назад в ймовірність від 0 до 1.

Alex Tutor

p = \frac{1}{1 + e^{-(b_0 + b_1 x)}}

Логістична (сигмоїдна) функція: крута посередині, пласка біля 0 і 1.

Ось увесь фокус: пряма лінія в просторі логарифмів шансів перетворюється на плавну S-подібну криву в просторі ймовірностей.

Ви

Спробуймо на справжній моделі відтоку.

Alex Tutor

Питання 3

Модель відтоку Котокорму: $\ln(\text{шанси}) = -2 + 0,8 \times \text{місяців\_від\_останньої\_покупки}$ . Спрогнозуй ймовірність відтоку для клієнта з 3 місяцями від останньої покупки.

Ваша відповідь

Одиниці: від 0 до 1, напр. 0,5

Приблизно 60% ризику відтоку через три місяці мовчання. Поговорімо, що насправді означає той коефіцієнт 0,8.

Ви

Кожен додатковий місяць додає 0,8 до чогось, так?

Alex Tutor

До логарифма шансів — так. Скасувавши логарифм, отримаємо: кожен додатковий місяць множить шанси відтоку приблизно на

e^{0,8} \approx 2,23

— не саму ймовірність.

Alex Tutor

Ви

А хіба це не те саме, що сказати, що ймовірність зростає у 2,23 раза?

Alex Tutor

Ні — і ця плутанина настільки поширена, що стане твоїм наступним запитанням.

Alex Tutor

Питання 4

Відношення шансів 2,23 для предиктора означає, що кожна додаткова одиниця предиктора приблизно подвоює прогнозовану ймовірність результату.

ПравдаНеправда

Alex Tutor

Ймовірність — це число. Щоб реально діяти — надіслати пропозицію утримання чи ні — потрібен поріг «так/ні».

Ви

0,5, очевидно? Якщо ймовірніше «так», ніж «ні» — значить «так»?

Alex Tutor

Це типовий вибір, але не завжди найрозумніший. Якщо пропозиція утримання дешева, а втрачений клієнт дорогий, можна позначати будь-кого з ймовірністю понад 0,2.

Alex Tutor

Ви

То поріг — це бізнес-рішення, а не статистичне?

Alex Tutor

І те, і те — статистика дає ймовірність, а бізнес вирішує, наскільки обережним бути з нею.

Який би поріг ти не обрала, захочеш оцінити, наскільки хороші підсумкові рішення «так/ні».

Кожен прогноз потрапляє в одну з чотирьох клітинок, порівняно з тим, що сталося насправді.

Alex Tutor

Питання 5

Зістав кожну клітинку матриці помилок з її значенням для моделі відтоку.

Торкніться відповіді, а потім рядка, до якого вона належить. Можна й перетягувати.

Модель спрогнозувала відтік, і клієнт справді пішов
Модель спрогнозувала відтік, але клієнт лишився
Модель спрогнозувала, що клієнт лишиться, але він пішов
Модель спрогнозувала, що клієнт лишиться, і він лишився

Відповіді, які ще треба розмістити

Добре. З цієї таблиці одразу випливають два корисні показники: точність і повнота.

Точність: із усіх, кого ти позначила як тих, хто піде, яка частка справді пішла. Повнота: із усіх, хто справді пішов, яку частку ти впіймала.

Ви

А чому б просто не взяти влучність — частку всіх правильних прогнозів?

Alex Tutor

Бо відтік трапляється рідко. Модель, яка просто каже «ніхто не піде», може мати 95% влучності, не впіймавши жодного реального клієнта, що пішов.

Ви

Ой — тобто сама влучність може обманювати.

Alex Tutor

Питання 6

Матриця помилок моделі відтоку: 40 істинно позитивних, 10 хибнопозитивних, 20 хибнонегативних, 130 істинно негативних. Обчисли точність.

Ваша відповідь

Одиниці: від 0 до 1, напр. 0,5

Гарно порахувала. А тепер частина, на якій усі спотикаються: точність і повнота тягнуть у протилежні боки.

Ви

А чи не можна максимізувати обидва одразу?

Alex Tutor

Рідко. Знизь поріг — і позначатимеш більше людей: повнота зростає, але точність зазвичай падає, бо з'являється більше хибних тривог.

Для дешевого листа про утримання цей обмін часто виправданий — Котокорм краще напише кільком людям, які б і так лишилися, ніж пропустить реальних клієнтів, що йдуть.

Alex Tutor

Питання 7

Ти знижуєш поріг класифікації моделі відтоку (позначаєш більше клієнтів як ризикових). Що з переліченого зазвичай відбувається? Оберіть усі, що підходять.

Оберіть усі правильні відповідіПовнота зростає — ти вловлюєш більшу частку реальних клієнтів, що йдутьТочність зазвичай падає — з'являється більше хибних тривогВлучність завжди зростаєТи позначаєш більше людей загалом, ловлячи більше реальних клієнтів, що йдуть, але й більше хибнопозитивних

Alex Tutor

Час сформулювати це словами.

Ви

Що я цього разу пояснюю?

Alex Tutor

Швидкий компроміс щодо витрат.

Ви

Готова.

Alex Tutor

Питання 8Коротка відповідь · Завдання з перевіркою ШІ

Модель відтоку Котокорму позначає клієнтів вище порогу для листа про утримання вартістю $5. Клієнт, що пішов, у середньому коштує близько $150 втраченої довічної цінності. Ти хотіла б вищий чи нижчий поріг класифікації, і чому? Відповідь — 2-4 речення.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Гарна інтуїція. Тепер повний кейс, востаннє в цьому модулі.

Ви

Останній?

Alex Tutor

Останній — модель відтоку, матриця помилок і справжнє рішення, яке треба порекомендувати.

Ось сценарій.

Alex Tutor

Питання 9Кейс · Завдання з перевіркою ШІ

Порадь, чи варто Котокорму знизити поріг класифікації моделі відтоку.

Модель відтоку Котокорму ( $\ln(\text{шанси}) = -2 + 0,8 \times \text{місяців\_від\_останньої\_покупки}$ ) наразі працює з порогом 0,5, і на клієнтах минулого місяця дає таку матрицю помилок: 40 істинно позитивних, 10 хибнопозитивних, 20 хибнонегативних, 130 істинно негативних. Лист про утримання коштує близько $5; клієнт, що пішов, коштує приблизно $150 втраченої довічної цінності. Команда утримання хоче знати, чи варто знизити поріг, щоб позначати більше клієнтів. Напиши коротку рекомендацію: поточні точність і повнота, компроміс щодо витрат і що б ти запропонувала далі.

Напишіть відповідь і отримайте оцінку та відгук від нашого ШІ-рецензента.

Увійдіть, щоб отримати відгук ШІ

Чудова робота, Софіє. Від однієї діаграми розсіювання ти дійшла до повноцінної моделі відтоку з обґрунтованим порогом. Далі — модуль 6: перетворення моделей на прогнози й пошук сегментів клієнтів.

Alex Tutor

На цьому все. Ви відповіли на всі завдання — чудова робота.

Наступний урок: Моделі та прогнози