Компании все чаще заявляют о цифровой трансформации бизнеса. При этом растет пропасть между техническими навыками руководства и сложностью современного ПО. Эта пропасть еще очевидней в проектах по машинному обучению. Это исследовательские проекты с непредсказуемым результатом и неудивительно, что только 25% проектов по машинному обучению достигают поставленных целей.

Обучающая и тестовая выборка

В первый раз я услышал об этой яме в университете. Мой преподаватель участвовал в коммерческом проекте по прогнозированию вместе с другим сотрудником. Каждый из них создал свою собственную модель, но руководство долго не решалось какую из двух выбрать. В итоге, все участники проекта собрались в одной комнате, чтобы обсудить результаты. И в этом соревновании выиграла та модель, чей автор кричал громче.

Сегодня мы делим данные на обучающую и тестовую выборки. Первая используется для обучения модели, а вторая — для оценки качества. Та модель, которая демонстрирует лучшие результаты на тестовой выборке и побеждает в соревновании.

Зачем мы строим Скоринговые модели?

После окончания университета я столкнулся с суровой реальностью сам. Есть много графиков и таблиц для описания качества модели. Но это все не то, что хочет видеть руководство. Даже расчеты доходов и расходов, которые так любит менеджмент, слишком сложны и содержат много допущений, которые невозможно проверить.

1. Моему коллеге как-то задали вопрос: зачем мы тратим свои ресурсы на скоринг? Он ответил, что наши конкуренты так делают и если мы остановимся, то окажемся в хвосте.

2. Другой ответил, что мы ищем факторы, драйверы, профили клиентов, чтобы научиться управлять нашим кредитным портфелем как рычагами. И скоринг — это один из инструментов, которые позволяют нам эти рычаги найти.

3. Владелец компании, в которой я работал, как-то сказал что скоринговые модели слишком сложны. И попросил объяснить ему скоринг в двух словах. Я ответил, что скоринговая модель сравнивает каждого нового клиента со старыми. Находит кластеры старых клиентов, которые похожи на нового клиента. И вычисляет вероятность вернуть кредит, как долю старых клиентов в кластере, которые тоже вернули кредит. Этого было достаточно, чтобы убедить руководство.

Вовлекайте менеджмент в игры

4. Когда модель готова, руководству нравится играть с ней, чтобы понять насколько модель похожа на их личный опыт в кредитовании. Один из способов вовлечь менеджмент на ранних этапах проекта — это показать руководству список факторов в порядке их важности. Например, на основе Information value. Менеджмент любит критиковать ваши или предлагать свои собственные факторы, формируя доверие к результатам проекта.

5.Еще один классный способ заключается в вычислении скорингового балла для хорошо известного человека. Это может быть кто-то из руководства или повторный клиент, которому отказали в кредите, несмотря на хорошую историю платежей в компании. Модель позволяет понять что же изменилось в поведении клиента настолько, что ему теперь невозможно доверять. Таблица ниже демонстрирует вычисление скорингового балла на основе нескольких факторов и дает понять, как ими манипулировать, чтобы повысить скоринговый балл.

фактор	значение	балл	частота, %
Доход за год	>= 200	193	45
	< 200	94	55
Срок кредита	=< 16	163	43
	> 16	124	40
	> 33	77	17
Кредитная история	кредит в другом банке	169	30
	кредиты платятся в срок	127	53
	кредитов нет, все кредиты выплачены, просрочки по кредитам	90	18
Цель кредита	машина, техника, образование	160	38
	другое	114	62
Платеж / доход	<= 30%	151	51
	30%	109	49
Накопления	= 500, Н/Д	165	29
	< 500	119	71

Например, модель присваивает больше баллов тому клиенту, у которого есть кредиты в другом банке. Т.е. получение кредита в другом банке поможет улучшить вашу оценку этой моделью и повысить вероятность получения кредита.

И A/B тесты, конечно

6. Но самый убедительный аргумент, которому невозможно возразить, — это A/B тест. Когда модель готова и одобрена руководством, мы делим наших новых клиентов на равные группы A и B. Например, по четным и нечетным ID в базе данных. Одна из групп проходит проверку по текущим правилам, принятым в компании. А вторая — оценивается на основе новой модели. Со временем, сумма платежей в обоих группах решает, какая из стратегий выигрышная.

7. Упрощенный вариант A/B теста основан на сравнении показателей модели на выборке новых клиентов, которые не участвовали в обучении модели. Это аналог разделения выборки на обучающую и тестовую. Этот тест менее строгий чем предыдущий A/B тест, но кто заботится о математической строгости, когда надо продать скоринговый проект при ограниченных ресурсах?