Рубрики
скоринг

7 способов продать скоринговый проект

Компании все чаще заявляют о цифровой трансформации бизнеса. При этом растет пропасть между техническими навыками руководства и сложностью современного ПО. Эта пропасть еще очевидней в проектах по машинному обучению. Это исследовательские проекты с непредсказуемым результатом и неудивительно, что только 25% проектов по машинному обучению достигают поставленных целей.

Обучающая и тестовая выборка

В первый раз я услышал об этой яме в университете. Мой преподаватель участвовал в коммерческом проекте по прогнозированию вместе с другим сотрудником. Каждый из них создал свою собственную модель, но руководство долго не решалось какую из двух выбрать. В итоге, все участники проекта собрались в одной комнате, чтобы обсудить результаты. И в этом соревновании выиграла та модель, чей автор кричал громче.

Сегодня мы делим данные на обучающую и тестовую выборки. Первая используется для обучения модели, а вторая — для оценки качества. Та модель, которая демонстрирует лучшие результаты на тестовой выборке и побеждает в соревновании.

Зачем мы строим Скоринговые модели?

После окончания университета я столкнулся с суровой реальностью сам. Есть много графиков и таблиц для описания качества модели. Но это все не то, что хочет видеть руководство. Даже расчеты доходов и расходов, которые так любит менеджмент, слишком сложны и содержат много допущений, которые невозможно проверить.

1. Моему коллеге как-то задали вопрос: зачем мы тратим свои ресурсы на скоринг? Он ответил, что наши конкуренты так делают и если мы остановимся, то окажемся в хвосте.

2. Другой ответил, что мы ищем факторы, драйверы, профили клиентов, чтобы научиться управлять нашим кредитным портфелем как рычагами. И скоринг – это один из инструментов, которые позволяют нам эти рычаги найти.

3. Владелец компании, в которой я работал, как-то сказал что скоринговые модели слишком сложны. И попросил объяснить ему скоринг в двух словах. Я ответил, что скоринговая модель сравнивает каждого нового клиента со старыми. Находит кластеры старых клиентов, которые похожи на нового клиента. И вычисляет вероятность вернуть кредит, как долю старых клиентов в кластере, которые тоже вернули кредит. Этого было достаточно, чтобы убедить руководство.

Вовлекайте менеджмент в игры

4. Когда модель готова, руководству нравится играть с ней, чтобы понять насколько модель похожа на их личный опыт в кредитовании. Один из способов вовлечь менеджмент на ранних этапах проекта – это показать руководству список факторов в порядке их важности. Например, на основе Information value. Менеджмент любит критиковать ваши или предлагать свои собственные факторы, формируя доверие к результатам проекта.

5. Еще один классный способ заключается в вычислении скорингового балла для хорошо известного человека. Это может быть кто-то из руководства или повторный клиент, которому отказали в кредите, несмотря на хорошую историю платежей в компании. Модель позволяет понять что же изменилось в поведении клиента настолько, что ему теперь невозможно доверять. Таблица ниже демонстрирует вычисление скорингового балла на основе нескольких факторов и дает понять, как ими манипулировать, чтобы повысить скоринговый балл.

факторзначениебаллчастота, %
доход за год>= 200, Н/Д19345
< 2009455
cрок кредита=< 1616343
> 1612440
> 337717
кредитная историякредит в другом банке16930
кредиты платятся в срок12753
все кредиты выплачены9018
цель кредитамашина16038
другое11462
платеж / доход<= 30%15151
> 30%10949
накопления>= 500, Н/Д16529
< 50011971

Например, модель присваивает больше баллов тому клиенту, у которого есть кредиты в другом банке. Т.е. получение кредита в другом банке поможет улучшить вашу оценку этой моделью и повысить вероятность получения кредита.

И A/B тесты, конечно

6. Но самый убедительный аргумент, которому невозможно возразить, – это A/B тест. Когда модель готова и одобрена руководством, мы делим наших новых клиентов на равные группы A и B. Например, по четным и нечетным ID в базе данных. Одна из групп проходит проверку по текущим правилам, принятым в компании. А вторая — оценивается на основе новой модели. Со временем, сумма платежей в обоих группах решает, какая из стратегий выигрышная.

7. Упрощенный вариант A/B теста основан на сравнении показателей модели на выборке новых клиентов, которые не участвовали в обучении модели. Это аналог разделения выборки на обучающую и тестовую. Этот тест менее строгий чем предыдущий A/B тест, но кто заботится о математической строгости, когда надо продать скоринговый проект при ограниченных ресурсах?

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *