实施异常检测系统时要问的问题
由于各种设备生成的数据的增加以及黑客等不断发展的复杂威胁的增加，基于AI的自动异常检测系统如今正变得越来越流行。异常检测系统可以应用于各种业务场景，例如监视金融科技公司的金融交易。 ，突出显示网络中的欺诈活动，数百万种产品之间的电子商务价格小故障等。异常检测系统可以很好地用于大规模管理数百万个指标，并将其过滤到许多消耗事件中，以产生可操作的见解。
在部署正确的异常检测系统时，公司应提出以下重要问题，以确保根据其需求部署正确的产品：
1]警报频率是多少（5分钟/ 10分钟/ 1小时或1天）
2]对可伸缩解决方案的要求（大数据与常规RDBMS数据）
3]本地或基于云的解决方案（Docker与AWS EC实例）
4]无监督与半监督解决方案
5]如何读取并确定各种异常的优先级，以便采取适当的措施（基于点的vs.上下文的vs.集体的异常）
6]警报与系统集成
什么是警报频率（5分钟/ 10分钟/ 1小时或1天）： 警报频率在很大程度上取决于将要测量的过程的敏感性，包括反应时间和其他指标。某些应用程序要求低延迟：例如，在几分钟之内对卡进行任何误用的情况下，检测并提示用户可疑的欺诈性付款交易。在某些应用中，它可能对更改不太敏感，而不太严重，例如来自蜂窝塔的入站和出站呼叫总数，可以将其汇总为一个小时的水平，而不必每隔5分钟进行一次测量，等等。根据适用性等衡量过程时，灵敏度过高，警报数量不正确。
可扩展解决方案的要求（大数据与常规RDBMS数据）： 诸如电子商务或金融科技之类的某些企业由于其速度或可扩展性而需要将其数据保存在大数据环境中。在银行等其他领域，他们可以放心使用大型机系统。在大数据场景中，硬件和软件可伸缩性需要分别由Hadoop和Spark等系统，常规场景中的RDBMS和Python编程来维护。
本地或基于云的解决方案（Docker与AWS EC实例）： 对于某些业务（如金融科技和银行业），由于与合规性和机密性相关的问题，数据无法在云中转储。对于诸如电子商务之类的其他业务而言，上述问题并不是一个因素，可以将数据上传到私有云中。异常检测解决方案 应考虑这些方面，以了解部署是针对本地服务的Docker格式，还是针对基于云的需求的基于AWS的EC解决方案。
无监督与半监督解决方案： 虽然部署无监督学习算法以检测基于时间序列的数据异常是常见的解决方案，但这些系统却因产生大量误报而臭名昭著。在这种情况下，如果企业发现警报数量很多，则可以基于分数对警报进行优先级排序，并可以设置较高的阈值分数，以增加对关键异常的关注。但是，也存在半监督算法，该算法使算法能够根据用户在产生异常时的反馈进行重新训练。这将使算法受过训练，不会在以后的阶段重复此类错误。但是重要的是要记住，集成半监督算法确实有其自身的挑战。  
如何读取并确定各种异常的优先级以采取行动： 异常类型的性质各不相同：基于点，上下文和集体。基于点的异常是从各个系列生成的异常，这些异常可能是一对一的隔离。上下文异常是在不同时间段显示为异常的异常，否则将被视为正常数据点。上下文异常的示例可能是，如果下午的通话量激增将不被视为异常，而如果午夜时出现相同量的激增，则将其视为异常。上下文异常也出现在单个序列上，类似于基于点的异常。最后，各种数据系列中都出现了集体异常，这些集合试图创造一个完整的故事。公司应该定义他们要查找的异常类型，以充分利用异常检测系统。另外，通过基于评分系统对异常进行优先级排序，可以为更高级别的异常提供更高的优先级。
与系统的警报集成： 警报生成后，需要将其与可用的内部系统集成。如果不注意这一点，则将需要花费资源进行验证过程，这可能变得乏味，特别是在误报的情况下。理想情况下，来自正常检测系统的 警报应与电子邮件通知系统，SMS通知系统或任何其他可以在检测到故障时向用户发送通知的仪表板系统集成。
结论： 很明显，作为发展的一部分，未来各种设备和应用程序生成的数据会爆炸。技术一直是一把双刃剑，它的巨大好处也将带来巨大的挑战，包括滥用，黑客攻击，安全问题等。通过部署具有人工智能功能的异常检测系统，将很容易解决这些问题，选择适当的配置业务可以获得最佳的性能。
1