全部版块 我的主页
论坛 经济学人 二区 外文文献专区
867 15
2022-06-14
英文标题:
《Curriculum Learning in Deep Neural Networks for Financial Forecasting》
---
作者:
Allison Koenecke and Amita Gajewar
---
最新提交年份:
2019
---
英文摘要:
  For any financial organization, computing accurate quarterly forecasts for various products is one of the most critical operations. As the granularity at which forecasts are needed increases, traditional statistical time series models may not scale well. We apply deep neural networks in the forecasting domain by experimenting with techniques from Natural Language Processing (Encoder-Decoder LSTMs) and Computer Vision (Dilated CNNs), as well as incorporating transfer learning. A novel contribution of this paper is the application of curriculum learning to neural network models built for time series forecasting. We illustrate the performance of our models using Microsoft\'s revenue data corresponding to Enterprise, and Small, Medium & Corporate products, spanning approximately 60 regions across the globe for 8 different business segments, and totaling in the order of tens of billions of USD. We compare our models\' performance to the ensemble model of traditional statistics and machine learning techniques currently used by Microsoft Finance. With this in-production model as a baseline, our experiments yield an approximately 30% improvement in overall accuracy on test data. We find that our curriculum learning LSTM-based model performs best, showing that it is reasonable to implement our proposed methods without overfitting on medium-sized data.
---
中文摘要:
对于任何金融组织来说,计算各种产品的准确季度预测是最关键的操作之一。随着所需预测粒度的增加,传统的统计时间序列模型可能无法很好地扩展。我们通过实验自然语言处理(编码器-解码器LSTM)和计算机视觉(扩展CNN)技术,以及结合迁移学习,将深度神经网络应用于预测领域。本文的一个新贡献是将课程学习应用于为时间序列预测构建的神经网络模型。我们使用微软的收入数据来说明我们的模型的性能,这些数据对应于企业、中小型企业和公司产品,覆盖全球约60个地区,涉及8个不同的业务部门,总额约为数百亿美元。我们将我们的模型的性能与Microsoft Finance目前使用的传统统计和机器学习技术的集成模型进行比较。以这一生产中模型为基准,我们的实验使测试数据的总体准确性提高了约30%。我们发现,基于LSTM的课程学习模型表现最好,表明在不过度拟合中等规模数据的情况下实施我们提出的方法是合理的。
---
分类信息:

一级分类:Computer Science        计算机科学
二级分类:Machine Learning        机器学习
分类描述:Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文(有监督的,无监督的,强化学习,强盗问题,等等),包括健壮性,解释性,公平性和方法论。对于机器学习方法的应用,CS.LG也是一个合适的主要类别。
--
一级分类:Quantitative Finance        数量金融学
二级分类:General Finance        一般财务
分类描述:Development of general quantitative methodologies with applications in finance
通用定量方法的发展及其在金融中的应用
--
一级分类:Statistics        统计学
二级分类:Machine Learning        机器学习
分类描述:Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文(监督,无监督,半监督学习,图形模型,强化学习,强盗,高维推理等)与统计或理论基础
--

---
PDF下载:
-->
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-6-14 15:02:30
金融预测的深层神经网络课程学习?Allison Koenecke1,2[万-0002-6233-8256]和Amita GajewarStanford University,Stanford CA 94305,USAkoenecke@stanford.eduMicrosoft加利福尼亚州桑尼维尔公司,邮编94089,USAamitag@microsoft.comAbstract.time系列模型可能无法很好地扩展。我们通过实验自然语言处理(编码器-解码器LSTM)和计算机视觉(扩展CNN)技术,以及结合转移学习,将深度神经网络应用于预测领域。一种用于时间序列预测的新型连接网络模型。我们使用微软的收入数据来说明我们模型的性能,这些数据对应于企业、中小型企业和公司产品,覆盖全球约60个地区,涉及8个不同的业务部门,总额约为数百亿美元。我们将我们的模型的性能与Microsoft Finance目前使用的集成模型(传统统计和机器学习)进行比较。使用thisin生产模型作为基线,我们的实验在测试数据的准确性方面总体提高了约30%。我们发现我们的基于课程学习LSTM的模型表现最好,这表明我们可以在不过度拟合中等规模数据的情况下实施我们提出的方法。关键词:财务预测·LSTM·扩展CNN·课程学习·时间系列1简介有效商业计划的一个关键方面是准确预测财务的能力。本文是与微软财务团队合作的结果,旨在为他们的企业和中小企业(SMC)集团的预计收入提供指导。?所有研究均由微软公司提供支持。2 A.Koenecke和A.Gajewar分为大约60个地区,然后将每个地区的收入进一步划分为20种不同的产品。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 15:02:33
此后,我们将参考用于预测问题的时间序列对应的每个组合。传统的时间序列和机器学习模型[]。在这里,我们扩展了准确性和效率。随着数据变得更加精细,销售团队可以进一步了解情况。然而,这也带来了明显的挑战。随着深度神经网络(DNN)在时间序列领域应用的最新进展[],本文探讨了长短期分层金融时间序列的应用。在以下部分中,我们将描述priorwork、我们的数据结构和所使用的两个总体DNN模型(LSTMand DCNN)所取得的进步。具体而言,我们描述了预处理技术和每个DNN模型中包含的附加功能带来的增量精度收益,我们解释了结果,并讨论了影响和未来步骤。通过与微软的生产基线准确性进行比较,我们发现我们的课程系列数据在偏差和方差方面实现了更高的准确性和积极的结果。2过去几年来,时间序列的相关工作序列到序列建模一直相当流行,不仅在行业中,而且在教室[]竞争对手中也很普遍。在我们的研究和之前关于时间序列预测的相关工作之间,有三个主要的不同特征。首先,课程学习(如下所述)尚未应用于时间序列趋势。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 15:02:37
其次,我们强调了任务中发生的转移学习,从具有完整历史数据的数据行到缺乏递归神经网络(RNN)和卷积神经网络(CNN)数量的数据行,都可以有效地用于中等规模的数据,而不会过度拟合。我们首先介绍了之前关于课程学习的工作,这是自然语言处理(NLP)的金融预测3深层神经网络中的基本课程学习。关于这种方法,短句比长句更容易学习;因此,在没有初始化的情况下,可以通过迭代学习以增加句子长度的顺序进行引导。数据通过使用历史数据预测一个数据行来改善缺失数据问题,并且由于Microsoft数据的规模小得多,因此复制数据相对不可行。我们将在第6节详细讨论影响。最后,我们回顾了之前使用神经网络预测时间序列建模的实例,但可以说最先进的公共方法来自优步,优步使用ahybrid指数平滑和RNN模型赢得了2018年M4预测比赛[]。他们的工作分享了许多涉及去季节化的再处理方法;以及LSTM的使用。然而,优步的应用程序却大相径庭:首先,它们的数据是层次结构元素的顺序(相反,他们的大量协变量需要比我们大得多的数据,而且也没有具体说明或讨论许多数据预记录转换的平均值和反季节化,这对于提高准确性至关重要。3数据3.1数据结构如第1节所述,企业和SMC集团的全球收入被划分为8个业务部门;每个部门被划分为ap4 A.Koenecke和A.Gajewar这些产品的季度收入,按产品组合、细分市场和广泛总量计算。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 15:02:40
请注意,为了进行比较,我们将重点放在分部级别(而不是次区域或产品级别)的预测上,因为该级别在历史上一直被业务使用。图1中的所有收入数字均调整为美元。图1:。样本数据行结构(不包括财务值)总体而言,我们在所有数据行的前35个时间步上进行训练,并在最后4个时间步上进行测试;详情见下一节。它所培训的数据行和样本外历史信息的收入。具体来说,我们执行基本数据清理,然后使用历史记录进行模型培训。稍后,我们将转移学习应用于样本数据行的剩余部分(大约占所有数据行的16%)。我们的成绩达到了世界一流水平。3.2由人的判断驱动的Microsoft基线。为了探索更高效、准确和无偏的收入预测,机器学习方法与统计时间序列模型一起进行了探索[]。[]中描述的方法用于计算全球13个地区的预测。在[]中,该方法进一步扩展,以使用每个区域内可用的产品级数据,并为区域内的每个产品生成预测(允许聚合到区域级和全球范围的预测)。这是当前金融预测深度神经网络课程学习的方法。了解本文中提到的基线模型,我们在这里对[6]中的方法进行了高水平的描述。产品的历史收入信息因产品的年龄和流行程度而异;因此,不可能天真地将单一时间应用于非常新的产品(收入数据少于6个季度),这是可用历史收入信息量的简化:1。收入数据超过20个季度的产品。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 15:02:48
Microsoft使用的学习模型(如随机林、ElasticNet等)具有验证数据集上计算的最低历史错误。2、收入数据在14至19个季度之间的产品。仅统计时间序列模型是有效的。衍生特征也由这些模型构建,可以用作额外的预测数据点。3、收入数据在6至13个季度之间的产品。只有ARIMA和ETS统计时间序列模型是有效的,因为STL不能在很短的时间序列上进行训练。由于没有足够的历史可用于搁置验证数据集,最终预测是ARIMA预测和ETS预测的简单平均值。总之,上述方法构成了Microsoft基线,将用作我们下面所述结果的基准。4方法时间序列的研究主要受非金融应用的启发。Speci(第4.2节)应用于计算机视觉和语音识别。4.1 RNN模型:编码器-解码器LSTMWe提供了四个变量,每个变量都是在前一个变量的基础上累积构建的,向前走分割[],其中验证集是四个步骤,分为时间6 A.Koenecke和A.Gajewart培训数据的末尾(即,直到2017年7月);这称为滚动窗口过程。根据经验选择了15个时间步的窗口大小。当我们从一个窗口移动到下一个窗口时,我们使用从模型中获得的权重对与前一个窗口对应的数据进行训练,以进行初始化。使用滚动窗口过程时的损失函数示例如图2所示;请注意,当我们从零开始一步一步地进行时,就会逐渐失去。图2:。对于LSTMFig上的滚动窗口方法。3、季节分解示例在一个财务数据行basic LSTM上,我们讨论的第一个模型是我们的基本RNN模型。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群