Smartbi数据挖掘示例--异常诊断

ngyyt

2038

收藏 2015-08-11

该案例介绍是聚类算法的另外一种灵活运用。采用的是聚类的思想对异常对象进行判断，主要思想是这样的：首先，我们使用聚类算法将对象（每条记录为一个对象）分成两类，其次，计算每一个对象到类中心的距离，距离类中小较远的点即为异常点。工作流如下：

1、商业目标

业务理解：该案例所用的数据是一份关于农业补贴的数据，如下：

表1：数据视图
其中，农业补贴数据包括住户姓名、所在区域、拥有田地的大小、降雨量、田地质量水平、田地收入、主要农作物、申请补贴的类型和申请补贴的金额。
业务目标：分析哪些住户领用补贴存在异常，并输出可疑的名单。
数据挖掘目标：建立异常检测模型，输出可疑名单。

注：该案例是一个典型的以业务驱动为核心的数据挖掘项目。此案例从业务入手，探索分析思路，比如，从领用次数来看，正常情况下每户都会一次领用全部补贴，因此如果领用次数在2次以上的住户即可认为存在可疑。其次，每家的田地收入主要有两方面来源，一个是农作物收入，一个是农业补贴收入。因此，如果田地收入明显超出预计田地收入，则很可能是过多的领用农业补贴。另外，判断领用是否可疑的更直接的办法是直接判断申请的补贴金额是否过多。最后，我们采用聚类算法判断异常。根据以上四个思路展开以下分析。
2、领用次数异常分析

第一步，使用平面文件节点或者CSV导入节点读取农业补贴数据。

第二步，使用计数节点统计每个住户领用的次数。由于

第三步，使用行过滤节点筛选出领用次数大于1的名单。节点配置如下：

过滤后的结果如下：

第四步，使用列重命名节点将count重命名为领用次数。配置如下：

第五步，使用交互表格节点输出领用次数异常名单：

表2：可疑名单13、田地收入异常分析

分析田地收入是否存在异常的核心就是估计每个住户的预计田地收入，计算实际田地收入与预计田地收入的差异。
如何计算预计田地收入呢？如果有明确的规则可以直接计算出每个住户的田地收入，则可以直接与实际值对比，但是由于田地收入所受影响因素较多，比如降雨量、土地质量、种植的农作物等，所以很难计算出准确的预计值。不过，我们可以估计一个值，这里是通过强相关的原理，计算一个与预计田地收入强相关的变量，以此变量作为预计田地收入。而这里强相关的变量可疑使用使用田地收入的主要影响因素相乘（降雨量、田地质量、田地大小）得到。

操作如下：
第一步，使用基于规则行过滤节点去除已经排除的两个住户。节点配置如下：

第二步，使用Java代码段（简单）节点生成预期收入字段。节点配置如下：

第三步，使用散点图节点验证预计收入和实际田地收入的相关性。如下图中所示，两个变量之间呈强正相关性，这验证了我们计算预计收入方法的合理性：

图1：预计收入和实际田地收入相关性分析
第四步，使用Java代码段（简单）节点生成偏移字段，计算实际田地收入和预计收入的差异。节点配置如下：

第五步，使用直方图看偏移的分布趋势，直方图配置如下：

从执行结果可以看出，偏移字段有少数分布在尾部，这些即是偏移较大的对象，也就是可疑对象，如下图所示：

第六步，输出可疑名单。
首先，使用行过滤节点筛选出偏移大于20的记录。配置如下：

其次，使用交互表格节点查看可疑名单。如下：

第七步，分析偏移的分布，及与申请类型的相关性。
在这里，我们使用直方图节点可视化发现，节点配置如下所示：

由执行后的结果可见，申请类型为B的偏移都在20以内（如下图所示），这说明这类申请类型应该不存在欺诈，由此可以再从业务中印证是否这种申请类型的规定没有漏洞，本身就无漏洞可钻，如果确实是，我们就没有必要再分析这种申请类型。

图2：偏移直方图分布4、申请金额异常分析

分析申请金额是否存在异常的核心就是估计每个住户的预计申请金额，计算实际申请金额与预计申请金额的差异。
如何计算预计申请金额呢？这里我们不能重复使用上一节使用的方法，因为这里我们没有合适的与申请金额强相关的变量。因此，我们采用了另外一个办法，就是使用预测模型，根据输入变量预测每个住户的申请金额，以模型预测值作为申请金额的估计值。
另外，在上一节中分析得出了以下结论：如图2所示，申请类型B不易进行欺诈。因此，我们接下来可以放弃对申请类型B的分析。
操作如下：
第一步，使用行过滤节点和名义值行过滤节点过滤申请类型为B的住户。节点配置如下：