征信业必将大有可为？从拒绝推断说起

chhy

来源：http://www.afenxi.com/post/19314

从“拒绝推断”说起
如果你读过我们先前发布的《解读芝麻信用与FICO评分的差异》，一定已经对“信用评分”的工作方式有所了解啦。除了打开支付宝就可以看见的芝麻信用评分之外，目前，较为权威的第三方信用评分机构包括FICO，Vantage，Experian等，而提供信贷服务的大型银行等往往也会为自己的客户建立评分模型，以便使信用管理工作更加高效且富有针对性。
对于银行来说，建立有效的客户信用评分模型可能比你想象得更重要。比如，一位客户想从某银行申请一笔贷款，究竟是否应该予以批准呢？为了确认客户的还款能力，银行可能需要查验他的个人信息，比如工作情况、收入水平、历史交易行为等；而信用评分模型则是一个信用风险量化的过程，通过可观察到的客户特征变量计算出一个信用分数，评估客户可能的信用风险，并据此将客户归类于不同的风险等级。无论是否已有合适的信用评分模型，最终，银行都会根据获取的信息对客户进行二分类，判断该客户是“好客户”还是“坏客户”，从而对客户申请的信贷等业务选择“批准”或者“拒绝”。
国内多数银行的信用评分模型仍处于建设或更新阶段，这就需要利用大量的历史数据，并寻找合适的预测模型，如logit模型、probit模型等。显然，客户历史数据可以分为两大类：曾经被批准的申请人的信息，和曾经被拒绝的申请人的信息。
被批准的申请人和被拒绝的申请人在信息方面的待遇可谓天壤之别。对于曾经被批准的申请人，银行同时拥有这部分客户的申请信息和过往表现信息，可以充分利用这些数据，判断他们是好客户还是坏客户；然而，对于曾经被拒绝的申请人来说，银行仅仅保留了他们的申请信息，但这样的申请人并没有进一步的信用表现，也就无法判断究竟是好客户还是坏客户。因此，在创建信用评分模型时，这一部分客户样本的数据常常遭到忽略。
一个较为完善而有效的信用评分模型的应用对象，显然应该是未来所有的申请人构成的总体，而仅仅由所有被接受的申请人构成的建模样本显然并不是总体的代表样本，所创建的模型自然也存在缺陷。为了弥补这样的缺失，如何推断那些曾经被拒绝的申请人的好坏定性，并把他们也加入到建模样本中来，已经成为了困扰信用评分领域多年的拒绝推断问题。
那么，为什么拒绝推断问题的研究有助于提升信用评分模型的预测准确性呢？
让我们姑且将被接受的申请人组成的样本称为“接受样本”，将被拒绝的申请人组成的样本称为拒绝样本：不用说，接受样本和拒绝样本中都存在真正的好客户和坏客户。 对于他们各自的好坏客户数量可以定义如下：

接受样本	拒绝样本
好客户	nag	nrg
坏客户	nab	nrb

如果我们使用的建模样本仅仅是接受样本，则该样本中的好坏客户比为odds1 = nag/nab；相反，如果我们采用了拒绝推断的技术，即同时采纳了接受样本和拒绝样本，则该样本中的好坏客户比是odds2 = (nag+nrg)/(nab+nrb)。而这个模型的优比，显然是模型参数估计过程中必须重视的参数之一。
无论是接受样本还是拒绝样本，其中包含的客户都是通过一定的审批机制来决定到底是被接受还是被拒绝的。这个审批机制可能是一个专家评分模型，也可能是原本使用的信用评分模型。所以，拒绝推断是否必要和原先的审批机制如何运作显然不无干系。 下面我们来模拟三种情景，看看拒绝推断究竟什么时候不可缺少呢？
情景1：银行A原本在审查是否应该发放给某位客户贷款时，既不看客户信息、也不做深入调查，反而以扔硬币的方式来决定。好吧，不用说，该银行的审批机制完全无效，坏客户在接受样本和拒绝样本中肯定是以随机等可能出现，上面提到的odds1=odds2，是否使用拒绝推断对模型的预测效果毫无影响。
拒绝推断在这种情景下并没有什么用，不过这种银行真的存在吗？
情景2：银行B负责审批客户的是一位资深业务专家，这位专家这辈子没出过错，凡是接受的都一定是好客户，拒绝的都必然是坏客户。
显而易见，银行B的odds1趋近于正无穷，与odds2相差太远，引入拒绝推断很有必要。不过，这么神奇的业务专家大约还没诞生，所以理想情景也很难在现实中出现。
情景3：经历了以上两种超现实主义银行，常见的业务情景其实是：原有的审批机制有效，不如情景2中的完美，但也可以做到使接受样本中绝大多数为好客户、拒绝样本中绝大多数为坏客户。
在实际应用过程中，银行会把客户的信用评分从高到底排序分成若干个评分池：


银行通常会接受落入前i个评分池的客户，而拒绝其余评分池中的客户。因此，一个有效的评分模型应该能够保证： 分数高的评分池中的好坏客户比要大于分数低的评分池中的好坏客户比。这时，odds1 > odds2，仅使用接受样本的好坏比大于使用了拒绝推断的建模样本中的好坏比，引入拒绝推断是明智之举。
拒绝推断的实证分析
在信用评分模型中引入拒绝推断的目的，是要推断出拒绝样本中那些被拒绝的申请人到底是好客户还是坏客户，从而将之作为建模样本数据使用。因此，我们可以认为，填补拒绝样本的数据即是一种缺失值处理问题。
对拒绝推断问题进行实证研究面临的最大困难是数据的获得性。在此，我们利用某银行信用卡业务的数据来做拒绝推断的实证研究，并通过实验设计的思路判断拒绝样本中的申请人到底是好客户还是坏客户。


这样，验证样本就相当于入门总体的有效代表 。
为了充分论证、判定拒绝推断对信用评分模型的提升作用，我们首先仅以接受样本创建信用评分模型，再采用核函数推断法、打包法（Parcelling）、硬截止法和外部数据法对拒绝样本进行推断，汇总接受样本和推断出因变量取值的拒绝样本，从而创建信用评分模型，并分别验证这5种信用评分模型的效果。对于需要用到先验信息的方法，统一假设被拒绝的申请人中好坏客户的比例为8：2。
5种方法展示如下：
1.  不做拒绝推断，只是使用接受样本创建信用评分模型，并用验证样本做模型效果的验证。

2.  用最相似、加权平均和Q1加权平均这三种核函数推断法对拒绝样本进行拒绝推断，并把推断出因变量取值的拒绝样本和接受样本汇总后，再创建信用评分模型，然后利用验证样本做模型效果的验证。


对于每一种核函数推断法又有三种子方案：

• 选择样本中的全部自变量（25 个）做核函数推断；
• 选择部分精选的自变量（18 个）做核函数推断；
• 选择全部自变量（25 个）做核函数推断。
  

3.  用信用评分领域的打包（Parcelling）方法来对拒绝样本做拒绝推断，并把推断出因变量取值的拒绝样本和接受样本汇总后再创建信用评分模型，然后利用验证样本做模型效果验证。
打包方法首先利用接受样本创建初步的信用评分模型，并把预测概率排序分组，然后给拒绝样本中的申请人打分，并对打分得到的预测概率按照接受样本中的预测概率分组规则进行分组。该方法假设在同一概率组中，拒绝样本中的坏客户比例是相对应的接受样本中坏客户比例的若干倍，这个倍数就叫做事件增长率。事件增长率需要业务人员根据经验给出估计，是一种先验信息。
4. 用信用评分领域的硬截止方法做拒绝推断，并把推断出因变量取值的拒绝样本和接受样本汇总后再创建信用评分模型，然后利验证样本做模型效果验证。
硬截止方法首先利用接受样本创建信用评分模型，并据此给拒绝样本中的申请人打分。该方法假设得分高于某个临界值的为好客户，低于临界值的为坏客户，这里的临界值也需要业务人员给出坏客户率的先验估计。
5. 把外部数据（被拒绝申请人究竟是好客户还是坏客户）加入建模样本中，然后创建模型，然后利用验证样本做模型效果验证。


实证结果


从上表可以看出，由于样本数据的限制，拒绝推断的实证分析结果并不是很理想，除了Lift 值以外，AUC 统计量、K-S 统计量和GINI 系数的值都偏小，这表明该模型的预测准确性相对偏低，但我们仍可以看出，使用外部数据来做拒绝推断的验证指标的值最大，它是提升信用评分模型预测准确性的最有效方法。然而，这种方法最耗费人力和物力，银行一般不愿意承担获取真实信息的风险和成本。
现在让我们来总结一下：在构建信用评分模型时，如果仅仅使用被接受的申请人构成的样本，则创建的信用评分模型必然存在样本偏差；为了获得更准确的预测结果，必须要做拒绝推断来校正这种偏差。
通常情况下，当对接受样本和拒绝样本所做的一些总体假设正确有效时，拒绝推断方法一般都能够提高模型的预测准确性，尤其是使用外部数据提供额外信息的方法，可以保证信用评分模型更加准确、合理；然而， 受限于国内征信体系的发展不够充分，银行获取信息的风险和成本都较高，也就限制了模型准确性的提升幅度。
因此，如何解决当前信用评分模型面临的困境呢？建设完善的征信数据正是最优选择。它可以免除商业银行为了获得拒绝样本的信息而承担的风险，在国内大力推广征信体系意义重大。
征信数据市场的巨大意义
征信系统的逐步发展必将为信用评分体系带来整体提升：银行利用已有的客户信息，结合有权威性的外部征信信用报告，则一定可以得到更优的信用评分模型，从而降低信贷风险、提升效率。进一步说，完善的征信体系可以促进国民的良好还款行为习惯、增进国家的金融稳定性，并鼓励银行业的持续发展；对于个人而言，信用记录良好的客户也可以借此获得更公平的信贷机会，以及诸多便利甚至褒奖。
其实，“征信”已经不是个新鲜事儿了，从银行贷款、消费金融到租房租车，个人信用已经开始影响社会生活的各方面。早在2013年3月，国务院颁布了《征信业管理条例》，初步构成了征信体系的法律基础；截止2014年底，央行征信中心已经接入了1811家数据机构，并覆盖了3.5亿有信贷记录的人口。然而，由于我国经济体量巨大，目前的征信数据规模和细化程度远远不够完善，并且已经直接影响了社会融资成本、放贷效率和行业的抗风险能力，抑制了经济活力。无论未来的征信业仍由央行主导，还是会催生更多具有一定权威性的商业机构、如FICO或Experian一般自成体系，我们相信，征信业短期之内必将大有可为，而数据资源的供应与数据分析的能力一定会在其中发挥自己的专长。

数据小兵0123679

写的不错！