此外，CNN LSTM vworks的表现也出人意料地好，因为跳跃预测只使用一天中某个时间的信息。因此，LOB数据可以说对预测价格上涨很有用，尤其是对苹果、脸书和微软来说，但有时它提供了一个相当小的优势（见谷歌和英特尔表6）。根据表5和表6，最有希望的模型是CNN LSTM注意，因此我们放大了CNN LSTM注意模型对表7中股票和数据集的F1得分。所有CNN LSTM注意力模型集的平均F1为0.71，在不同的时间段和不同的股票之间都有一定的变化。变异iPrecision召回F1 Cohen的KappaCNN-LSTM-A 0.66 0.80 0.72 0.62LSTM 0.73 0.66 0.69 0.60CNN 0.66 0.66 0.55MLP 0.78 0.41 0.53 0.44随机0.24 0.50 0.32 0.00CNN-LSTM-v0.57 0.79 0.66 0.54表5：所有四个网络的总体精度、召回率、F1和Cohen的Kappa得分以及随机分类。由于数据不平衡，F1是最合适的性能度量，因此在表中以粗体强调。CNN LSTM vdenotes CNN-LSTM不使用其他信息，只使用一天中的时间（功能v）。很可能是由于不同的股票价格和不同证券的跳跃动态。在F1的计算中，没有考虑到严重的负面影响，如果检测到的跳跃比率保持不变，那么要检测的跳跃次数越少，直接会降低精度，除非容易预测的跳跃次数保持不变，否则要检测的跳跃次数越少，往往会导致分数越低。据预测，英特尔（INTC）的涨幅最好（F1为0.78），而微软的涨幅最差，相差约10个百分点。其他模型的相应结果，Tsantekidiset al.（2017a）中提出的LSTM模型，Tsantekidis et al.（2017a）中提出的卷积模型。

（2017b）和一个规则的两层MLP网络，见附录（表8、9、10）。4.3. 注意层尽管注意模型最初是在周等人（2016）提出的，用于时间维度，但它也可以用来突出重要特征。也就是说，网络关注的不是发生有趣事情的时间步，而是在该时间点特别有趣的特性。这是因为使用了大量的功能。通过激活为给定样本创建的层，选择四个样本进行注意力机制的定性分析：一个真阳性和真阴性，以及一个假阳性和假阴性。正如预期的那样，所有这些样本都对时间特征v（见表4）具有一定的重要性，因为在开发网络的过程中，已经对其可行性进行了研究。通过比较未融合层的注意力激活来检查注意力。除此之外，还注意到了四个样本之间的不同特征。真阳性和假阳性都包括来自基本功能集（v）的订单簿顶层的一些卷。尽管数量被视为重要信息，但两人都没有在关注中包括任何来自书籍的价格信息。两者都包含了特征v集合中的几个派生；hadIn表7中的真阳性。首先分别计算每套和每只股票的得分，然后对每套股票进行平均。由于集合中的样本数量不是恒定的，单独计算的集合分数的平均值并不完全等于所有样本中直接计算的分数。

因此，表5、6和7中给出的值之间存在微小偏差。精确召回F1 Cohen的Kappaapl CNN-LSTM-A 0.67 0.74 0.71 0.61LSTM 0.70 0.54 0.61 0.50CNN 0.62 0.57 0.59 0.47MLP 0.73 0.35 0.47 0.37随机0.24 0.50 0.33 0.00CNN-LSTM-v0.65 0.72 0.68 0.58FB CNN-LSTM-A 0.67 0.81 0.73 0.63LSTM 0.73 0.67 0.70 0.60CNN 0.69 0.59MLP 0.80 0.41 0.54 0.45随机0.25 0.50 0.33 0.00CNN-LSTM-v0.48 0.90 0.62 0.44GOOG CNN-LSTM-A 0.60 0.83 0.69 0.59LSTM 0.690.64 0.66 0.58CNN 0.62 0.77 0.69 0.59MLP 0.75 0.36 0.48 0.40随机0.21 0.50 0.30 0.00CNN-LSTM-v0.57 0.82 0.68 0.57MSFT CNN-LSTM–0.62 0.77 0.69 0.59LSTM 0.72 0.65 0.68 0.60CNN 0.66 0.66 0.66 0.56MLP 0.76 0.42 0.54 0.46随机0.22 0.50 0.30 0.00CNN-LSTM-v0.49 0.70 0.58 0.44INTC CNN-LSTM-A 0.72 0.85 0.78 0.69LSTM 0.77 0.77 0.69CNN 0.71 0.63 0.67 0.56MLP 0.84 0.48 0.61 0.52随机0.26 0.500.34 0.00CNN-LSTM-v0.72 0.82 0.77 0.68表6：所有四个测试网络的整体精度、召回率、F1和Cohen的Kappa得分（按网络和库存）。CNN LSTM注意网络的总平均回忆、F1和Kappascores最好。MLP具有更高的精确度，同时大大降低了召回率–给定的类标签偏向于负数。Random是一种完全随机的分类工具，作为基准。根据定义，随机回忆为0.50，Kappa为0。由于数据不平衡，F1是最合适的性能指标，因此表中以粗体字强调。CNN LSTM vdenotesCNN LSTM只使用一天中的时间信息（功能v）。只有双方的数量，而假阳性也包括要价。

有趣的是，真正的阳性样本还集中于与特征集v相比的单个第4级询价差异，其他任何被检查样本中均未出现其他差异。负样本与正样本相当不同，尽管两者都关注时间特征以及特征集v的一些导数。然而，负样本的导数纯粹是ask或bidcolumes的数量导数。假阴性和真阴性也非常相似，插入/库存AAPL FB GOOG MSFT INTC平均值集1 0.76 0.63 0.68 0.68 0.74 0.70集2 0.70 0.67 0.47 0.72 0.84 0.68集3 0.66 0.72 0.69 0.68 0.74 0.70集4 0.65 0.85 0.69 0.68 0.81 0.73集5 0.75 0.81 0.78 0.66 0.79 0.76集6 0.72 0.75 0.76 0.74 0.75集7 0.70 0.69 0.74 0.53 0.77 0.68平均0.70 0.73 0.69 0.67 0.780.71表7:CNN LSTM注意网按集合和存量计算的F1得分。关于注意力，这很有意义，因为最终分类结果是相同的。双方都关注基本的询价和报价以及数量和价格。他们也把重点放在了几个中等价位上，但无论是阳性样本还是阳性样本，情况都不是这样。有趣的是，除此之外，真阴性样本还选择了ask和bid的取消强度。对于所有检查的样本，重点显然是几个特定的特征集，其中一些特征根本不包括在注意事项中。然而，要价和出价以及订单簿中10个级别的价值都是平等的。在多个特征集中，数量相关值被视为特别重要，这表明了流动性与跳跃之间的关系（有关订单流动性与新闻公告之间的关系，请参见Siikanen et al.，2017b）。

尽管如此，完整的测试集并没有被检查，所以即使这意味着关注的值有一定的相关性，其余的测试集仍需要被彻底检查，以得出关于它们在跳跃预测中的有用性的结论。4.4. 跳跃方向的预测这项研究集中在两类预测问题上，其中类信息与跳跃统计在下一分钟内是否会超过某个阈值有关，与跳跃方向无关。然而，该问题也可以表述为三类分类问题，其中cis无跳跃、cis向上跳跃和cis向下跳跃。这是用相同的模型和相同的输入数据完成的，但输出层改为三个神经元块。然而，事实证明，这个公式比仅仅预测跳跃的角度更具挑战性，而且结果与跳跃方向的随机选择没有显著差异。附录中的表12给出了使用CNN LSTM注意网络区分跳跃类和CW类的结果。跳跃到达的更好的可预测性（比跳跃的迹象）与文献一致，文献提供了跳跃与新闻公告和分析师建议之间关系的证据，分析师建议的到达时间通常是可预测的，而不是方向。Lee（2012）；Bradley等人（2014年）的这一结果也与跳跃股票价格模型的定义一致：跳跃项由两个独立的部分组成，跳跃发生的计数过程和跳跃大小，这两个部分是独立且相同分布的。因此，计数过程可能是可预测的，而跳跃的大小和方向可能是不可预测的。

然而，这项研究并没有将重点放在这样的预测案例上，因此也有可能以一定的准确性预测跳跃的方向，尽管可能比跳跃的发生率要低得多，而跳跃的发生率甚至可能是事先已知的，这是由于股票信息的预定释放。跳跃预测的另一个可能方向是不仅预测跳跃，而且预测每个时间步的跳跃统计。这意味着预测将是一个回归问题，其中跳跃仅由通过解释网络输出而超出阈值的统计数据暗示。然而，考虑到非跳跃价格过程σ（t）dW（t），这种方法需要更准确地预测价格变动，因此它还需要预测股票价格过程。当然，只使用jumpstatistic的绝对值，而不考虑运动方向，可以简化任务。即便如此，这项任务比简单的跳跃预测要困难得多，至少在测试方法中是如此。这很可能是由于回归任务的更精确预测要求、所选方法的局限性以及需要预测正常股价过程的幅度，以便在没有跳跃的情况下在样本中获得正确的统计数据。这个问题将在我们未来的研究中进一步解决。结论在这项工作中，开发了一个新的CNN LSTM注意模型来预测LOB数据中的跳跃。该问题也在几个现有的股票价格预测神经网络模型上进行了测试。这些网络都接受了为期360天的五项单独测试的培训和测试。开发的CNN LSTM注意力模型在所有股票的F1表现最好，平均而言，科恩的Kappa也表现最好。

总体而言，使用其他测试网络获得的F1分数提供了证据，表明使用有限订单数据可以明显或略微改善拟议模型在泵预测中的性能，具体取决于标的股票。这表明，限价订单市场中的路径依赖是股票特有的特征。预测这种跳跃的方向要困难得多，因为一般来说跳跃统计数据更难，这符合有效市场假说。此外，我们发现，所提出的具有注意机制的方法优于多层感知器网络、卷积神经网络和长-短期记忆模型。这项研究主要集中于预测在不久的将来是否存在跳跃。即使在跳跃的背景之外，预测跳跃统计数据，而不是统计数据是否超过阈值，也会特别有趣，因为它本质上是股票未来回报的统计数据。因此，即使使用了绝对值，而没有考虑股票价格方向，它也可以在这些情况下使用。此外，由于正态分布的无界性，跳跃本身的定义包含一些随机性，如果只考虑直接基于股票价格的跳跃统计，因此在其解释中不包含不确定性，则可以从学习过程中消除这种随机性。本研究还关注了几种已知的网络类型，即LSTM和CNN，以为模型提供基础，将其他类型的分类器应用于此类问题可能会有所裨益。

我们将在未来的研究中解决将统计数据作为非线性回归问题进行预测的问题。另一个令人感兴趣的领域是本研究中使用的特征关注模型，因为这些模型也可以作为指标，说明哪些类型的衡量指标可以用来预测一般的价格上涨，以及该书的哪些特征会影响价格上涨的形成。然而，注意事项仅基于几个样本系列进行研究，因此对这些特征进行更深入的研究将特别有趣。注意力研究的结果还可以通过扩展预测网络认为与分类相关的特征，进一步发展预测网络的输入数据。同时，可以通过省略对任何正确分类的样本不会产生显著权重的特征来提高结果和计算复杂性方面的性能。参考文献Sabadi，M.、Agarwal，A.、Barham，P.、Brevdo，E.、Chen，Z.、Citro，C.、Corrado，G.、Davis，A.、Dean，J.、Devin，M.、Ghemawat，S.、Goodfello，I.、Harp，A.、Irving，G.、Isard，M.、Jia，Y.、Kaiser，L.、Kudlur，M.、Enberg，J.、Man，D.、Monga，R.、Moore，S.、Murray，D.、Shlens，J.、Steiner，B.、Sutskever，I.、Tucker，P.、Vasudevan，V V.，Vinyals，O.，Warden，P.，Wicke，M.，Yu，Y。，郑，X.，2015年。TensorFlow：异构分布式系统上的大规模机器学习。内政部：10.1038/nn。3331，arXiv:1603.04467。Bahdanau，D.，Cho，K.，Bengio，Y.，2014年。通过联合学习对齐和翻译，实现神经机器翻译。arXiv:1409.0473。贝茨，D.S.，1996年。跳跃和随机波动：德国马克期权隐含的汇率过程。金融研究综述9，69–107。Bradley，D.、Clarke，J.、Lee，S.、Orntanalai，C.，2014年。分析师的建议是否具有信息性？关于时间戳延迟影响的日内证据。

《金融杂志》69，645–673。Cheadle，C.，Vawter，M.P.，Freed，W.J.，Becker，K.G.，2003年。使用Z scoretransformation分析微阵列数据。分子诊断杂志5，73–81。内政部：10.1016/S1525-1578（10）60455-2。Chiarella，C.，He，X.Z.，Wei，L.，2015年。limitorder markets的学习、信息处理和订单提交。《经济动力与控制杂志》61245–268。Chollet，F.，其他，2015年。凯拉斯。Chorowski，J.，Bahdanau，D.，Serdyuk，D.，2015年。《基于注意力的语音识别模型》，载《神经信息处理系统的进展》，第577-585页。科恩，J.，1960年。标称标度的一致系数。教育和心理测量20，37–46。Cont，R.，2011年。高频财务数据的统计建模。IEEE信号处理杂志28，16–25。内政部：10.1109/MSP。2011.941548.Cont，R.，De Larrard，A.，2012年。流动市场中的订单簿动力学：极限定理和差分近似。SSRN工作文件。Cont，R.，Stoikov，S.，Talreja，R.，2010年。订单动态的随机模型。运营研究58549–563。内政部：10.1287/opre。1090.0780.Cont，R.，Tankov，P.，2003年。具有跳跃过程的金融建模。第2卷。CRC出版社。科普兰，T.，加拉伊，哥伦比亚特区，1983年。信息影响买卖价差。《金融杂志》381457–1469。Di Persio，L.，Honchar，O.，2016年。股票价格预测的人工神经网络结构：比较与应用。国际电路、系统和信号处理杂志10403–413。Dixit，A.K.，Dixit，R.K.，Pindyck，R.S.，Pindyck，R.，1994年。不确定性投资。普林斯顿大学出版社。Dixon，M.，2018年。一种用于监督学习的高频交易执行模型。高频即将到来。Eraker，B.，2004年。

股票价格和波动率会跳吗？核对现货和期权价格的证据。《金融杂志》591367–1403。Fleiss，J.，Levin，B.，Cho Paik，M.，2003年。费率和比例的统计方法。约翰·威利父子公司。内政部：10.1198/tech.2004。s812，arXiv:arXiv:1011.1669v3。福柯，T.，莫纳斯，S.，泰森，E.，2007年。匿名性在电子限价单市场中重要吗？财务研究回顾20，1707–1747。Gers，F.A.，Schmidhuber，J.，康明斯，F.，2000年。学会遗忘：使用LSTM进行持续预测。神经计算122451–2471。doi:10.1162/089976600300015015，arXiv:arXiv:1011.1669v3。贾尔斯，C.L.，劳伦斯，S.，佐伊，A.C.A.，2001年。使用递归神经网络和语法推理进行噪声时间序列预测。机器学习44161–183。内政部：10.1023/电话：1010884214864。Graves，A.，2012年。递归神经网络监督序列标记。第385卷。doi:10.1007/978-3-642-24797-2，arXiv:arXiv:1308.0850v1。格雷夫斯，A.，2013年。使用递归神经网络生成序列。arXiv预印本XIV:1308.0850 arXiv:1308.0850。格雷夫，K.，斯利瓦斯塔瓦，R.K.，库坦'K，J.，斯特恩·布林克，B.R.，施密杜伯，J.，2017年。Lstm：搜索空间漫游。IEEE神经网络和学习系统学报28，2222–2232。Hinton，G.E.、Srivastava，N.、Krizhevsky，A.、Sutskever，I.、Salakhutdinov，R.R.，2012年。通过防止特征检测器的共同自适应来改进神经网络。arXiv预印本arXiv:1207.0580，1–18。Hochreiter，S.，Schmidhuber，J.，1997年。长期短期记忆。神经计算91735–1780。内政部：10.1162/neco。1997.9.8.1735，arXiv:1206.2944。Hu，B.，Lu，Z.，Li，H.，Chen，Q.，2014年。匹配自然语言句子的卷积神经网络结构，摘自《神经信息处理系统的进展》，第2042-2050页。Je Offerson，M.，Pendleton，N.，Lucas，S.，Horan，M.，Tarassenko，L.，1995年。神经网络。

doi:10.1016/S0140-6736（95）92880-4，arXiv:arXiv:1411.3159v1。Kanniainen，J.，2009年。适当折扣的项目能否遵循几何布朗运动？运筹学数学方法70435。Kanniainen，J.，Yue，Y.，2017年。新闻的到来和股价的上涨。SSRN工作文件。Kara，Y.，Acar，M.，Kaan，¨O.，2011年。使用人工神经网络和支持向量机预测股票价格指数运动方向的专家系统及其应用：伊斯坦布尔证券交易所样本。具有应用程序的专家系统385311–5319。内政部：10.1016/j.eswa。2010.10.027.Kercheval，A.N.，Zhang，Y.，2015年。用支持向量机建模高频极限订单动态。定量金融15，1315–1329。内政部：10.1080/14697688.2015.1032546。Kingma，D.P.，Ba，J.，2014年。Adam：一种随机优化方法。arXiv预印本XIV:1412.6980 arXiv:1412.6980。Krizhevsky，A.，Sutskever，I.，Hinton，G.，2012年。深卷积神经网络的ImageNet分类。Landis，J.R.，科赫，G.G.，1977年。分类数据的观察者一致性度量。生物特征33，159。内政部：10.2307/2529310。L–angkvist，M.，Karlsson，L.，Lout fi，A.，2014年。时间序列建模的无监督特征学习和深度学习综述。模式识别字母。LeCun，Y.，Bengio，Y.，1995年。图像、语音和时间序列的卷积网络。《大脑理论和神经网络手册》3361255–258。内政部：10.1109/IJCNN。2004.1381049，arXiv:arXiv:1011.1669v3。Lee，S.，2012年。金融市场的跳跃和信息流动。财务研究回顾25439–479。Lee，S.S.，美国密克兰，2008年。实时金融市场的跳跃：一种新的非参数检验和跳跃动力学。金融研究回顾21，2535–2563。内政部：10.2139/ssrn。利普顿，Z.C.，埃尔坎，C.，纳里亚纳斯瓦米，B.，2014年。

最大化分类器的最佳阈值1度量，在：欧洲机器学习和知识发现联合会议数据库中。，第225-239页。内政部：10.1007/978-3-662-44851-9\\u 15，arXiv：1402.1892。Maas，A.L.，Hannun，A.Y.，Ng，A.Y.，2013年。更精确的非线性改善了神经网络声学模型。第30届机器学习国际会议记录28，6。Mikolov，T.、Kara fiat，M.、Burget，L.、Cernocky，J.、Khudanpur，S.，2015年。基于递归神经网络的语言模型。《国际语音通信协会年会论文集》，INTERSPEECH，1045–1048。Ntakaris，A.、Magris，M.、Kanniainen，J.、Gabbouj，M.、Iosi fidis，A.，2018年。基准数据集形成了限额订单数据的价格预测。即将发表在《预测杂志》上。Passalis，N.、Tsantekidis，A.、Tefas，A.、Kanniainen，J.、Gabbouj，M.、Iosi fidis，A.，2017年。使用神经特征袋进行时间序列分类，摘自：信号处理会议（EUSIPCO），2017年，欧洲电气与电子工程师协会，第25届。第301-305页。罗森布拉特，F.，1957年。感知机-感知和识别的自动机。技术报告。内政部：85-460-1。Scherer，D.、M¨uller，A.、Behnke，S.，2010年。对象识别卷积体系结构中池操作的评估。人工神经网络ICANN 2010。Sermanet，P.、Eigen，D.、Zhang，X.、Mathieu，M.、Fergus，R.、LeCun，Y.，2013年。OverFeat：使用卷积网络集成识别、定位和检测。arXiv预印本XIV doi:10.1109/CVPR。2015.7299176，arXiv:1312.6229。Shore，J.E.，Johnson，R.W.，1980年。最大熵原理和最小交叉熵原理的公理推导。IEEE信息论学报26，26–37。内政部：10.1109/TIT。1980.1056144.Siikanen，M.、Kanniainen，J.、Luoma，A.，2017b。

是什么驱动了限价订单对公司公告到达的敏感性？《经济学快报》159，65–68。Siikanen，M.，Kanniainen，J.，Valli，J.，2017年。围绕预定和非预定公告的限额指令簿和流动性：纳斯达克北欧的经验证据。金融研究信函21264–271。Sirignano，J.，Cont，R.，2018年。金融市场价格形成的普遍特征：深度学习视角。SSRN工作文件。Toth，B.，Palit，I.，Lillo，F.，Farmer，J.D.，2015年。为什么股权秩序如此持续？《经济动力学和控制杂志》51218–239。Tran，D.T.，Iosi fidis，A.，Kanniainen，J.，Gabbouj，M.，2018年。用于金融时间序列数据分析的时间注意力增强双线性网络。即将在IEEE神经网络和学习系统交易中发表。Tsantekidis，A.、Passalis，N.、Tefas，A.、Kanniainen，J.、Gabbouj，M.、Iosi fidis，A.、2017a。使用卷积神经网络从限价订单簿预测股票价格，摘自：商业信息学（CBI），2017年IEEE第19届会议，IEEE。第7-12页。Tsantekidis，A.、Passalis，N.、Tefas，A.、Kanniainen，J.、Gabbouj，M.、Iosi fidis，A.、2017b。使用深度学习检测金融市场中的价格变化迹象，参加：信号处理会议（EUSIPCO），2017年第25届欧洲会议，IEEE。第2511-2515页。Webb，A.R.，Copsey，K.D.，2011年。统计模式识别。约翰·威利父子公司。内政部：10.1002/9781119952954。Xingjian，S.，Chen，Z.，Wang，H.，Yeung，D.Y.，Wong，W.K.，Woo，W.c.，2015年。卷积lstmnetwork：降水临近预报的机器学习方法，《神经信息处理系统的进展》，第802–810页。Yang，H.，Kanniainen，J.，2017年。标准普尔500指数的跳跃和波动性动态：股票和期权市场的非净波动性动态与内部活动跳跃的证据。

审查财务21，811–844。Yang，J.，Nguyen，M.N.，San，P.P.，Li，X.，Krishnaswamy，S.，2015年。深度卷积神经网络用于人类活动识别的多通道时间序列。，摘自：IJCAI，第3995-4001页。Zhou，P.，Shi，W.，Tian，J.，Qi，Z.，Li，B.，Hao，H.，2016年。用于关系分类的基于注意的双向长短记忆网络。