模型的检验

各类评分模型的检验分为样本内检验和样本外检验，其中样本外检验需要事先预留20%-40%的样本用于模型建立后在该样本上预测，对比预测结果和实际情况的差异。样本外检验目的是为了保证模型的稳定性。

常用的模型检验报告有：

1）交换曲线；

先基于预测评分由低到高排序，然后画出交换曲线图，横坐标是按照排序统计的累计的好账户比例；纵坐标是累计的坏账户比例。​如果模型没有区分能力则为45度线，如果能区分好坏客户则为凸向左上角靠近的曲线。​

2）K-S 指标；

​  K-S曲线分别描述了好账户累计比例和坏账户累计比例两天曲线如何随着横坐标的评分由低到高变化。两天曲线的差异为K-S值，值越大，说明区分好坏用户能力越大。纵坐标为好或者坏样本累计比例。

3）区分度；

基于预测评分画的好账户比例直方图，和坏账户比例直方图的重叠程度，越小，区分能力越强。​两个正态分布在横坐标评分上均值差异越大越有区分度。

4）拟合度曲线；

拟合度也可以看r-square​

前3个主要检验模型对好坏账户排队后的区分能力，​先按照预测评分排序，再看随着评分的上升，好的比例是否也上升，分析低分和高分能否将好坏账户区分出来。

拟合曲线则对比预测的坏账户与实际的坏账户的准确程度，通常信用评分模型的首要目标是好坏账户的区分效果，其次才是预测的精确程度。因为哪怕模型预测坏的概率不够精确，只要能够有效地将好账户和坏账户区分开来，瞄准和开拓好账户，拒绝坏账户，则也能达到利用模型进行风险管理的首要目的。​