金融中的机器学习：为什么，什么以及如何
金融学中的机器学习可能会神奇，即使它背后没有魔力（嗯，也许只是一点点）。尽管如此，机器学习项目的成功仍然更多地取决于构建高效的基础架构，收集合适的数据集以及应用正确的算法。
机器学习正在金融服务行业取得重大进展。让我们看看金融公司为什么要关心，它们可以通过AI和机器学习实施哪些解决方案，以及它们如何正确地应用这项技术。
定义
我们可以将 机器学习（ML）定义为数据科学的一个子集，该子集 使用统计模型来得出见解和做出预测。下图说明了AI，数据科学和机器学习之间的关系。为了简单起见，本文着重于机器学习。
机器学习解决方案的神奇之处在于它们无需明确编程即可从经验中学习 。简单地说，您需要选择模型并向其提供数据。然后，该模型会自动调整其参数以改善结果。
数据科学家使用现有的数据集训练机器学习模型，然后将训练有素的模型应用于现实生活中。
该模型作为后台过程运行，并根据训练方式自动提供结果。数据科学家可以根据需要频繁地对模型进行重新训练，以保持模型的最新性和有效性。例如，我们的客户 Mercanto 每天都会重新训练机器学习模型。
通常，  您提供的 数据越多 ， 结果就越准确。巧合的是，巨大的数据集在金融服务行业中非常普遍。交易，客户，账单，汇款等数据有PB级。 这非常适合机器学习。
随着技术的发展以及最佳算法的开源，很难想象没有机器学习的金融服务的未来。
这就是说， 大多数 金融服务公司 都 还 没有准备好 来提取这一技术的真正价值，原因如下：
企业通常对机器学习及其对组织的价值抱有完全不切实际的期望。
人工智能和 机器学习的研发 成本很高。
DS / ML工程师的短缺是另一个主要问题。下图显示了对AI和机器学习技能需求的爆炸性增长。
在更新数据基础架构方面，财务人员还不够敏捷。
在本文的后面，我们将讨论如何解决这些问题。首先，让我们看看为什么金融服务公司不能忽视机器学习。
为什么要在金融中考虑机器学习？
尽管面临挑战，但许多金融公司已经利用了这项技术。下图显示了金融服务的执行人员非常重视机器学习，他们这样做的理由很多：
由于过程自动化，降低了运营成本。
更高的生产力和增强的用户体验提高了收入。
更好的合规性和增强的安全性。
投资机器学习的金融公司
有各种各样的开源机器学习算法和工具非常适合财务数据。此外，成熟的金融服务公司拥有大量资金，可以负担得起在最先进的计算硬件上的支出。
基于金融领域的定量性质和大量历史数据，机器学习已准备好增强金融生态系统的许多方面。
这就是为什么许多金融公司都在机器学习研发方面投入大量资金的原因。至于落后者，忽略AI和ML可能会代价高昂。
金融中的机器学习用例是什么？
让我们看一下金融中一些有前途的机器学习应用程序。
过程自动化
流程自动化是金融中机器学习的最常见应用之一。该技术可以代替手工工作，使重复的??任务自动化，并提高生产率。
结果，机器学习使公司能够优化成本，改善客户体验并扩大服务规模。以下是金融中机器学习的自动化用例：
聊天机器人
呼叫中心自动化。
文书自动化。
游戏化的员工培训等等。
以下是银行业务流程自动化的一些示例：
摩根大通 （JPMorgan Chase）启动了合约智能（COiN）平台，该平台利用了自然语言处理（一种机器学习技术）。该解决方案处理法律文件并从中提取必要的数据。手动审核12
BNY Mello 将流程自动化集成到其银行生态系统中。这项创新 每年可节省30万美元 ，并带来了广泛的 运营改进。
富国银行（Wells Fargo） 通过Facebook Messenger平台 使用 AI驱动的聊天机器人与用户通信并提供密码和帐户帮助。
Privatbank 是一家乌克兰银行，在其移动和网络平台上实现了聊天机器人助手。聊天机器人加快了一般客户查询的解决速度，并减少了人工助手的数量。
安全
随着交易，用户和第三方集成数量的增加，财务中的安全威胁也越来越多。机器学习算法在检测欺诈方面非常出色 。
例如，银行可以使用该技术实时监控每个帐户的数千个交易参数。该算法检查持卡人采取的每个动作，并评估尝试的活动是否是该特定用户的特征。这种模型可以高精度地发现欺诈行为。
如果系统识别出 可疑的帐户行为，则可以向用户请求其他识别以验证交易。如果至少有95％的可能性是欺诈，则甚至完全阻止该交易。机器学习算法仅需要几秒钟（甚至几秒钟）即可评估交易。这种速度有助于实时防止欺诈行为，而不仅仅是在犯罪已经发生之后就将其发现。
金融监控 是金融中机器学习的另一个安全用例。数据科学家可以训练该系统以检测大量的小额支付，并将此类洗钱技术标记为蓝精灵。
机器学习算法也可以显着增强 网络安全性。数据科学家训练了一种系统来发现和隔离网络威胁，因为机器学习在分析数千个参数和实时性方面是首屈一指的。而且这种技术很有可能在不久的将来为最先进的网络安全网络提供支持。
Adyen，  Payoneer，  Paypal，  Stripe和 Skrill 是一些著名的金融科技公司，它们在安全机器学习上进行了大量投资。
承销和信用评分
机器学习算法非常适合 金融和保险业中常见的承保任务。
数据科学家在数千个客户资料上训练模型，每个客户都有数百个数据条目。然后，训练有素的系统可以在现实环境中执行相同的承销和信用评分任务。这种评分引擎可帮助员工更快，更准确地工作。
银行和保险公司拥有大量的历史消费者数据，因此他们可以使用这些条目来训练机器学习模型。或者，他们可以利用大型电信或公用事业公司生成的数据集。
例如，  BBVA Bancomer 正在与替代信贷评分平台Destacame合作。该银行旨在为拉丁美洲信用记录薄弱的客户增加信贷渠道。Destacame通过开放的API访问公用事业公司的账单支付信息。通过使用账单支付行为，Destacame会为客户产生一个信用评分，并将结果发送到银行。
算法交易
在算法交易中， 机器学习有助于做出更好的交易 决策。数学模型可实时监控新闻和交易结果，并检测可能导致股价上涨或下跌的模式。然后，它可以根据其预测主动采取行动来出售，持有或购买股票。
机器学习算法可以同时分析成千上万个数据源， 这是人类交易者无法实现的。
机器学习算法可帮助交易员在市场平均水平上获得微薄的优势。而且，鉴于大量的交易业务，这种小的优势通常会转化为可观的利润。
机器人咨询
机器人顾问现在在金融领域司空见惯。当前，咨询领域中机器学习有两个主要应用。
投资组合管理 是一种在线财富管理服务，它使用算法和统计信息来分配，管理和优化客户的资产。用户输入他们当前的金融资产和目标，例如，到50岁时可以节省一百万美元。然后，机器人顾问会根据风险偏好和期望的目标，在投资机会中分配当前资产。
推荐金融产品。许多在线保险服务使用机器人顾问向特定用户推荐个性化保险计划。由于较低的费用以及个性化和经过校准的建议，客户选择了智能顾问而非个人理财顾问。
如何在金融中利用机器学习？
尽管AI和机器学习具有所有优势，但即使是财大气粗的公司也常常很难从这项技术中提取真正的价值。金融服务业者希望利用机器学习的独特机会，但实际上，他们对数据科学如何工作以及如何使用它有一个模糊的想法。
他们一次又一次地遇到类似的挑战，例如 缺少业务KPI。反过来，这导致不切实际的估计并耗尽预算。仅拥有合适的软件基础架构是不够的（尽管这将是一个好的开始）。交付有价值的机器学习开发项目需要清晰的视野，扎实的技术人才和决心。
一旦您对这项技术将如何帮助实现业务目标有了充分的了解，就可以进行想法验证。这是数据科学家的任务。他们会研究这个想法，并帮助您制定可行的KPI并进行实际估算。
请注意 ，此时您需要收集所有数据。否则，您将需要数据工程师来收集和清理此数据。
根据特定的用例和业务条件，金融公司可以采用不同的方法来采用机器学习。让我们检查一下。
放弃机器学习，转而专注于大数据工程
通常，金融公司开始其机器学习项目只是为了意识到他们只需要适当的数据工程。 马克斯Nechepurenko， 高级数据科学家 为N-IX评论：
在开发[数据科学]解决方案时，我建议使用 Occam的剃刀 原理，这意味着不要过于复杂。实际上，大多数面向机器学习的公司都需要专注于固态数据工程，将统计信息应用于汇总数据以及对该数据进行可视化。
仅将统计模型应用于已处理和结构良好的数据就足以使银行隔离其运营中的各种瓶颈和低效率。
此类瓶颈的例子有哪些？这可能是特定分支处的队列，可以消除的重复性任务，人力资源活动效率低下，移动银行应用程序的缺陷等等。
而且，任何数据科学项目中最大的一部分归结为建立一个精心策划的平台生态系统，该平台可以从CRM，报表软件，电子表格等数百种来源收集孤立的数据。
在应用任何算法之前，您需要对数据进行适当的结构化和清理。只有这样，您才能进一步将数据转化为见解。实际上，ETL（提取，转换和加载）以及进一步清理数据约占机器学习项目时间的80％。
使用第三方机器学习解决方案
即使您的公司决定在即将到来的项目中使用机器学习，也不一定需要开发新的算法和模型。
大多数机器学习项目都处理已经解决的问题。诸如Google，Microsoft，Amazon和IBM之类的技术巨头都将机器学习软件作为服务出售。
这些开箱即用的解决方案已经过培训，可以解决各种业务任务。如果您的项目涵盖相同的用例，您是否相信您的团队可以通过庞大的研发中心超越这些技术巨头的算法？
一个很好的例子是Google的多种即插即用推荐解决方案。该软件适用于各种领域，因此检查它们是否适合您的业务案例是合乎逻辑的。
机器学习工程师可以针对您的特定数据和业务领域实施该系统。专家需要从不同来源提取数据，将其转换为适合该特定系统的数据，接收结果并使结果可视化。
折衷方案是缺乏对第三方系统的控制，并且解决方案的灵活性有限。此外，机器学习算法并不适合每个用例。 IHAR Rubanau， 高级数据科学家 为N-IX评论：
尚不存在通用的机器学习算法。数据科学家需要调整和微调算法，然后才能将其应用于不同领域的不同业务案例。
因此，如果Google现有的解决方案可以解决您特定域中的特定任务，则您应该使用它。如果不是，则针对定制开发和集成
创新与整合
从头开始开发机器学习解决方案是最危险，最昂贵和最耗时的选择之一。尽管如此，这可能是将ML技术应用于某些业务案例的唯一方法。
机器学习的研究和开发针对特定领域的独特需求，因此需要进行深入研究。如果没有针对这些特定问题而开发的即用型解决方案，则第三方机器学习软件可能会产生不准确的结果。
不过，您可能仍需要严重依赖Google等提供的开源机器学习库。当前的机器学习项目主要是将现有的最新库应用于特定领域和用例。
在N-iX，我们确定了成功的 机器学习企业R＆D项目的七个共同特征。他们来了：
一个明确的目标。在收集数据之前，您至少需要对要通过AI和机器学习实现的结果有一些一般的了解。在项目的早期阶段，数据科学家将帮助您将其转变为实际的KPI。
机器学习解决方案的强大体系结构设计。您需要经验丰富的软件架构师来执行此任务。
适当的大数据工程生态系统 （基于Apache Hadoop或Spark）是必不可少的。它允许从金融服务公司的众多孤立数据源收集，集成，存储和处理大量数据。大数据架构师和大数据工程师负责构建生态系统。
在新创建的生态系统上运行ETL过程（提取，转换和加载）。大数据架构师或机器学习工程师执行此任务。
最终数据准备。除了数据转换和技术清理之外，数据科学家可能还需要进一步完善数据以使其适合特定的业务案例。
应用适当的算法，基于这些算法创建模型，对模型进行微调，并使用新数据重新训练模型。数据科学家和机器学习工程师执行这些任务。
清晰可视化的见解。商业智能专家对此负责。此外，您可能需要前端开发人员使用易于使用的UI创建仪表板。
小型项目可能需要更少的精力和更小的团队。例如，一些研发项目处理的是小型数据集，因此它们可能不需要复杂的大数据工程。在其他情况下，根本不需要复杂的仪表板或任何数据可视化。
重要要点
金融业者最经常使用机器学习来实现流程自动化和安全性。
在收集数据之前，您需要清楚地了解数据科学的预期结果。在项目开始之前，需要设置可行的KPI并进行实际评估。
许多金融服务公司需要通过数据科学和机器学习进行数据工程，统计和数据可视化。
训练数据集越大越干净，机器学习解决方案产生的结果就越准确。
您可以根据需要频繁地重新训练模型，而无需停止机器学习算法。
没有适用于不同业务案例的通用机器学习解决方案。
该 机器学习发展是昂贵的。
像Google这样的技术巨头创造了机器学习解决方案。如果您的项目涉及此类用例，则不能指望超过Google，Amazon或IBM的算法。
题库