全部版块 我的主页
论坛 经济学人 二区 外文文献专区
1857 21
2022-06-14
英文标题:
《Deep Adaptive Input Normalization for Time Series Forecasting》
---
作者:
Nikolaos Passalis, Anastasios Tefas, Juho Kanniainen, Moncef Gabbouj,
  Alexandros Iosifidis
---
最新提交年份:
2019
---
英文摘要:
  Deep Learning (DL) models can be used to tackle time series analysis tasks with great success. However, the performance of DL models can degenerate rapidly if the data are not appropriately normalized. This issue is even more apparent when DL is used for financial time series forecasting tasks, where the non-stationary and multimodal nature of the data pose significant challenges and severely affect the performance of DL models. In this work, a simple, yet effective, neural layer, that is capable of adaptively normalizing the input time series, while taking into account the distribution of the data, is proposed. The proposed layer is trained in an end-to-end fashion using back-propagation and leads to significant performance improvements compared to other evaluated normalization schemes. The proposed method differs from traditional normalization methods since it learns how to perform normalization for a given task instead of using a fixed normalization scheme. At the same time, it can be directly applied to any new time series without requiring re-training. The effectiveness of the proposed method is demonstrated using a large-scale limit order book dataset, as well as a load forecasting dataset.
---
中文摘要:
深度学习(DL)模型可以成功地用于处理时间序列分析任务。然而,如果数据没有得到适当的规范化,DL模型的性能可能会迅速退化。当DL用于金融时间序列预测任务时,这个问题更加明显,因为数据的非平稳性和多模态性带来了重大挑战,并严重影响了DL模型的性能。在这项工作中,提出了一种简单而有效的神经层,该神经层能够自适应地规范化输入时间序列,同时考虑数据的分布。该层采用反向传播以端到端的方式进行训练,与其他经过评估的规范化方案相比,该层的性能有了显著的提高。该方法不同于传统的归一化方法,因为它学习如何对给定任务执行归一化,而不是使用固定的归一化方案。同时,它可以直接应用于任何新的时间序列,而无需重新培训。通过一个大型限价订单数据集和一个负荷预测数据集验证了该方法的有效性。
---
分类信息:

一级分类:Quantitative Finance        数量金融学
二级分类:Computational Finance        计算金融学
分类描述:Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法,包括蒙特卡罗,偏微分方程,格子和其他数值方法,并应用于金融建模
--
一级分类:Computer Science        计算机科学
二级分类:Machine Learning        机器学习
分类描述:Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文(有监督的,无监督的,强化学习,强盗问题,等等),包括健壮性,解释性,公平性和方法论。对于机器学习方法的应用,CS.LG也是一个合适的主要类别。
--

---
PDF下载:
-->
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-6-14 04:45:58
时间序列预测的深度自适应输入规范化(Deep Adaptive Input Normalization for Time Series Forecasting)Kolaos Passalis、Anastasios Tefas、Juho Kanniainen、Moncef Gabbouj和Alexandros Iosi fi disAbstract Deep Learning(DL)模型可用于处理时间序列分析任务,取得了巨大成功。然而,如果数据没有适当的标准化,DL模型的性能可能会迅速退化。当NDL用于金融时间序列预测任务时,这一问题更加明显,因为数据的非平稳性和多模态性带来了重大挑战,并严重影响了DL模型的性能。在这项工作中,提出了一种简单而有效的神经层,它能够自适应地规范化输入时间序列,同时考虑数据的分布。建议层使用反向传播以端到端的方式进行训练,与其他评估过的规范化方案相比,可以显著提高性能。该方法不同于传统的归一化方法,因为它学习如何对给定任务执行归一化,而不是使用固定的归一化方案。同时,它可以直接应用于任何新的时间序列,而无需重新训练。该方法的有效性通过一个大规模的极限订单数据集和一个负荷预测数据集进行了验证。指数术语时间序列预测、数据规范化、limitorder book数据、深度学习。引言预测时间序列是一个越来越重要的主题,在各个领域有多种应用【1】、【5】、【13】、【15】、【16】、【19】、【23】、【34】。现在,这些任务中的许多都是使用强大的深度学习(DL)模型来完成的【6】、【8】、【14】、【29】、【31】,这通常会导致最先进的结果优于以前使用的方法。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 04:46:01
然而,由于数据的非平稳性和多模态性,将深度学习模型应用于时间序列具有挑战性。这一问题在金融时间序列中更为明显,因为随着时间的推移,由于多种原因,如市场波动,金融数据可能表现出显著不同的行为。为了使用时间序列数据训练深度学习模型,必须首先对数据进行适当的规范化。也许在使用DL时,最广泛使用的时间序列归一化方案是z分数归一化,即减去数据的平均值并除以其标准偏差。然而,z分数归一化无法有效处理非平稳时间序列,因为用于归一化的统计数据在训练和推理期间都是固定的。芬兰坦佩雷大学信息技术与通信学院最近的几项工作试图解决这一问题,包括Nikolaos Passalis、Juho Kanniainen和Moncef Gabbouj。Anastasios Tefas是希腊塞萨洛尼基亚里士多德大学信息学学院的学生。Alexandros Iosi fidis就职于丹麦奥胡斯大学工程、电气和计算机工程系。电子邮件:nikolaos。passalis@tuni.fi, tefas@csd.auth.gr,juho。kanniainen@tuni.fi,moncef。gabbouj@tuni.Fi,alexandros。iosi公司dis@eng.au.dkissue要么采用更复杂的规范化方案【17】、【21】、【25】,要么使用精心制作的固定特征【32】。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 04:46:05
尽管这些方法在用于训练深度学习模型时可以带来略好的性能,但它们存在着明显的缺点,因为它们主要基于启发式设计的规范化/特征提取方案,例如使用价格变化百分比而不是绝对价格等。,虽然没有实际保证所设计的方案对于手头的任务来说确实是最佳的。为了克服这些限制,我们提出了一个深度自适应输入归一化(DAIN)层,该层能够a)学习如何对数据进行归一化,b)根据当前时间序列测量值的分布,在推理过程中自适应地更改应用的归一化方案,从而有效地处理非平稳和多模态数据。所提出的方案易于实现,可以使用反向传播以端到端的方式与深度模型的其余参数一起直接训练,并可以显著提高预测精度。实际上,正如我们在第三节中进行的实验所示,由于原始时间序列直接反馈给所使用的深度学习模型,因此所提出的方法允许直接训练深度学习模型,而无需对数据进行任何形式的归一化。这项工作的主要贡献是提出了一个深度学习层,学习如何根据数据的分布而不是使用固定的标准化方案对数据进行标准化。为此,拟定的层由三个子层组成,如图所示。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 04:46:08
1、第一层负责将数据转移到特征空间的适当区域(居中),而第二层负责线性缩放数据,以增加或减少其方差(标准化)。第三层负责执行选通,即非线性抑制与当前任务无关或不可用的特征。请注意,上述过程是自适应的,即所应用的规范化方案取决于反馈给网络的实际时间序列,并且也是可训练的,即所提议的层的行为方式是使用反向传播来适应手头的任务的。使用一个由450万个限价订单组成的大型限价订单数据集[20]和一个负荷预测数据集[9]来评估所提出方法的有效性。该方法的开放源代码实现,以及用于复制本文中进行的实验的代码,可在https://github.com/passalis/dain.To据我们所知,这是SummaryAgergatoraptiveshiftingadaptivescaling首次()-()()= (-)()()()()深层神经网络输入时间序列归一化时间序列深层自适应输入归一化层汇总聚合器()=⊙sigm(+)()()()自适应()汇总聚合器()图1:。深度自适应输入归一化层(DAIN)的体系结构提出了一种自适应的、可训练的归一化方案,并在深度神经网络中得到了有效的应用。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 04:46:10
与常规的标准化方法(如z分数标准化)不同,建议的方法a)学习如何对手头的任务进行标准化(而不是使用事先计算的固定统计数据),b)有效利用所有可用特征的信息(而不是仅单独使用时间序列每个特征的信息)。所提出的方法还与深度神经网络的现有规范化方法有关,例如批量规范化【11】、实例规范化【10】、层规范化【2】和组规范化【33】。然而,这些方法实际上并不是为规范化输入数据而设计的,最重要的是,它们仅仅基于在训练/推理期间计算的统计数据,而不是学习动态规范化数据。值得注意的是,使用非线性神经层对数据进行自适应归一化并不简单,因为这些层通常首先需要归一化数据才能正常工作。在这项工作中,首先使用两个稳健且仔细初始化的线性层来估计数据应如何居中和缩放,然后使用非线性层对数据进行处理,该非线性层对前两层的输出进行操作,有效地克服了这一限制。论文的其余部分结构如下。首先,第二节对所提出的方法进行了分析描述。然后,在第三节中提供了广泛的实验评估,而在第四节第二节中得出了结论。深度自适应输入规范化let{X(i)∈ Rd×L;i=1。。。,N} 是N个时间序列的集合,每个时间序列由L d维度量(或特征)组成。符号x(i)j∈ Rd,j=1,2,Lis用于表示在时间序列i的时间点J观察到的d特征。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群