欺诈者在其金融犯罪活动中的野心越来越大，越来越老练，欺诈活动越来越难以与真实活动区分开来。随着欺诈者适应击败传统的欺诈管理技术和策略，损失正在更短的时间内实现。欺诈者不断创新以规避欺诈预防和检测系统，这对于机器学习从业者来说仍然是一个持续的挑战。

机器学习使用历史数据来识别指示传入数据流中的危险行为的模式。对于机器学习的某些应用，这些模式要么不改变，要么随时间缓慢变化，从过去提取模式以预测未来事件并不值得关注。

然而，当将机器学习应用于人类行为时，例如从支付数据中预测欺诈行为时，我们需要意识到所识别模式背后的行为可能会发生变化。支付行业充满了创新，这些创新以前曾是这种变化的驱动力（想想——芯片和 PIN 或移动支付）。支付数据中的传入模式越偏离其历史对应模式，该模型就越有可能过时，从而导致性能下降。这被称为概念漂移，可以通过使用最新模式更新模型来解决，作为课程修正的一种形式。

监督学习方法依赖于一组可靠的标签来指示欺诈或真实行为，这带来了额外的挑战，即在这些标签可用之前可能存在延迟。在某些情况下，即使在行为发生变化并且检测到模型性能相应下降之后，标签也可能不可用。但概念漂移同样适用于无监督方法，这些方法通常旨在定义和识别异常（或异常值）行为，并将该行为定性为有风险的。

无论使用有监督还是无监督的方法，如果机器学习模型工作在“检测模式”（例如检测和标记，但最终允许进行有风险的交易），那么最终通常可以获得真正的标签对于该行为，然后可用于评估模型性能。

当机器学习模型以“干预模式”部署时，概念漂移更成问题。这是防止明显的危险行为（由模型确定）发生的地方。例如，在支付授权周期内部署机器学习模型意味着可以仅根据模型的输出拒绝交易，而在尝试交易时无需任何人工参与。

在干预模式下，在模型部署之前，通过使用模型先前未观察到的测试数据集上的模拟性能，很容易证明预期的欺诈行为增加。在这种情况下，我们知道基本事实——观察到的行为是欺诈性的还是真实的——我们可以很容易地计算出反事实——如果我们的模型在这段时间内被部署，会发生什么？

如果没有发生概念漂移，那么通过这种类型的分析获得的性能指标将有望无限期地继续下去。然而，欺诈者的不断适应和他们的攻击越来越复杂，确保了这种情况很少发生。不可避免地，概念漂移开始发挥作用。

但是现在，由于该模型正在阻止感知风险行为的发生，我们不知道该模型已经阻止的那些行为会被证明是欺诈性的还是真实的。这意味着我们不能轻易评估模型性能。我们不知道有多少欺诈被阻止，我们不知道有多少误报。我们有基本事实（现在模型是否拒绝了尝试的行为），但无法再获得反事实（如果未部署模型会发生什么）。

如果我们无法评估模型性能，那么概念漂移可能会继续未被检测到，模型会慢慢影响越来越多的真实行为。这显然是个坏消息。值得庆幸的是，机器学习从业者可以使用一些技巧进行反击。

1. 监控传入数据流的分布。
传入数据流分布的重大变化——例如，每笔交易的平均值大幅上涨——可能表明历史数据（模型已在其上训练）不再能够区分真实行为和欺诈行为.

例如，通过打开新的支付渠道或产品线而不将这些额外的交易与现有模型分开，可能会出现这种情况。尽管这种形式的概念漂移可能不是直接由于欺诈者策略的改变，但它可能对模型造成同样的破坏。小的分布变化可能需要根据更新的数据更新模型，而大的偏差可能需要对模型进行全面的重新训练。

2. 监控机器学习模型的输出分布。

关注模型的输出可以检测欺诈者的行为变化。这可能就像观察被阻止行为数量的下降一样简单。如果模型没有被解雇，那么欺诈者可能已经继续前进。相反，如果模型逐渐开始阻止更多行为（例如交易）的发生，那么企业将很快（并且合法地）开始质疑收入是否受到影响。一旦检测到变化，就该重新训练模型了。

3. 使用可解释的机器学习。

了解机器学习方法为何决定阻止某种行为有助于确定机器学习模型是否仍针对所需行为，或者概念漂移是否使模型偏离了方向。如果模型解释对人类分析师不再有意义，那么这就是进一步调查和可能的重新培训的原因。

4. 带回欺诈分析师来估计反事实。

在实施机器学习方法后，企业的众多优势之一是减少了分析师审查交易所花费的时间。但是机器学习并不能完全消除人工干预的需要。最好的解决方案是人机结合。使用他们的主题专业知识，欺诈分析师可以审查已被机器学习模型拒绝的授权样本。通过考虑进行授权尝试的微观行为环境，分析人员可以就授权是否确实可疑或可能被模型错误地拒绝做出明智的决定。这些信息建立了对反事实的估计，不仅可以评估模型性能，

5. 询问您的客户。

最后，最直接的途径是询问客户的尝试是否真实。在这种情况下，客户可以快速查看交易尝试并为被拒绝的行为提供可靠的标签。但不能保证客户会做出回应。此外，由于交易量很大，这可能是一种昂贵且侵入性的解决方案，业务兴趣不大。自动向客户发送 SMS 或在线通知的解决方案可以很好地工作，但可能会降低响应率。

相关帖子DA内容精选 2022年300个以上最佳免费数据科学课 职场问诊 | 大厂裁员，如何正确的面对这个危机？ 大三信管专业的我，用一个月通关CDA Level Ⅰ、Level Ⅱ 和CDA持证人分享 数据科学和企业的数据能力建设 商业智能分析工具的应用 TI类数据产品设计 管理分析需求与绩效指标 PyTorch最全的损失函数汇总 数据分析最常用的excel函数公式大全 零基础转行数据分析，看这篇文章就够了