随着交易的发生，订单的接收和撤回，订单簿不断变化。每一个观察到的市场状态都可能演变为几乎无限数量的其他市场状态。在这种环境下，即使是在最基本的层面上考虑可行的决策集，以及下多少订单，如果需要，以不同的价格下多个订单，或者在我们已经有订单的情况下，以其他价格下订单。如果订单价格与市场价格不符，则订单将不确定地保留在账面上，直到价格达到该点为止，如果价格达到该点。这一行动空间必然是动态和复杂的，因为深入下订单对于实现价格提升是必要的，并且订单逐渐被订单簿中的价格-时间优先级填满。根据可用的执行场所，最后一个复杂的问题是可能有多个合适的交易场所和订单类型。一盘棋大约有40步长。围棋大约有200步长。如果国际象棋或围棋的频率为中等，则在合格棋子中移动一个棋子，并按棋子移动。对于电子交易，动作是子订单的集合：它由多个具有不同特征的并发订单组成：价格、大小、订单类型等。例如，一个动作可以同时提交被动购买订单和主动购买订单。被动的儿童秩序将停留在一个行动中。由此产生的动作空间非常大，并且随着我们希望在某一时刻使用的特征组合的数量呈指数增长。目前还不完全清楚如何确定每个行动的效率。可以说，电子交易代理的决策效率和最佳性可以体现在发现和捕捉机会（“好”交易）以及避免陷阱（“坏”交易）方面。

这种细粒度定义的问题不仅在于许多机会都是短暂的，而且可能只存在于微秒级。更重要的是，只有在交易执行（或避免）很久之后，才能确定交易的好坏。现在可能被认为是一笔糟糕的交易，但最终可能会成为一笔出色的交易。从这个意义上说，我们对探索和重新定义什么是机会感兴趣，就像我们对如何行动感兴趣一样。我们将电子交易的这一独特方面称为非本地最优。代理商的一个可能（但不一定是唯一的或最好的）全球目标是其与其他市场融合的能力。如果是这种情况，可以使用奖励函数来实现相对于批量加权平均价格的最佳执行价格。该策略必须在交易速度过快和价格变动带来的市场影响与市场风险之间找到平衡，这一问题的根源在于以适合于t模型的方式封装状态信息和行动空间，并使用机器学习方法。这涉及到总结模型输入未完成子订单的市场状态。然后选择响应中数量可变的操作之一。3.3前期工作这一领域的现有工作有一个有趣的广度，通常涉及该问题的各个方面。一些工作包括在小维度环境中进行强化学习的先前设置，而其他工作则考虑用简洁固定的维度Manner表示数据。Akbarzadeh等人【2018年】着眼于这一问题，以执行在线学习来驱动算法。然而，业绩受到仅下达市场订单的限制。Nevmyvaka等人。

【2006年】定义了一个完整的强化学习问题，但这受到了一个行动空间的严重限制，该空间允许单一订单，其中新订单取消旧订单。Zhang等人【2018年】将限额订单汇总为40维向量，包含价差两侧10个价格水平的价格和数量信息。该信息基于前一天的交易进行正常化处理，并用于预测市场走势。Doering等人【2017】进一步设计了4个矩阵，其中包含订单簿、交易、新订单和订单取消，代价是维度翻两番，并使用了特别稀疏的数据。未来的研究方向主要是继续研究和开发tradingencapsulate，尽可能多地收集有关当前市场和现有订单状态的信息，这两者都需要高度可变维度数据的固定维度表示。现有方法简化订单管理流程，假设有固定数量的未完成子订单，价格独特，与人类交易员可用的操作相比，限制过度。3.4我们的方法的纳米描述我们现在正在运行第二代基于RL的限价订单投放引擎。我们成功地训练了行动空间有界的策略。为了解决我们刚才描述的问题，我们使用分层学习和多代理培训，利用领域知识。我们针对奖励、步骤和时间范围特征不同的本地短期目标，培训本地政策（例如，如何下积极订单与如何下被动订单）。

然后将这些地方政策结合起来，然后再学习如何将地方政策结合起来。我们还认为，反向强化学习非常有前景：利用金融市场上人力和algo政策的巨大历史，以建立本地奖励是一个活跃的研究领域。4电子交易人工智能开发中的政策学习之外4.1政策学习算法RL的核心目标是最大化接近真实业务目标的总回报。针对这一目标优化参数化行动策略的策略学习算法一直是RL研究的主要焦点。最近的研究将著名的政策学习算法应用于电子交易业务【Akbarzadeh等人，2018年】【Nevmyvaka等人，2006年】。我们想介绍RL的其他方面，这些方面超出了策略学习算法的能力。4.2分层决策人工智能在电子交易中的实际应用通常具有时间跨度长的特点。客户订单需要几分钟甚至几小时（有时几天），而代理商需要做出的决策远远低于充分整合所有可用的市场动态信息所需的决策。此外，agent的决策是时间不均匀的。它不是由时钟驱动，而是对自身行为的影响以及环境的重大变化作出反应。因此，RL中的时间抽象成为处理长时间视界和时间不均匀性的关键问题。跳帧的比喻——每几个时间步只做一次决策——可能在这里不适用。Semi-MDP（sMDP）是发现RL代理的时间抽象行为的一个重要方法【Sutton等人，1999年】。

然而，对于何时采取行动和决定什么，培训单一的政策仍然是不够的。一种可能的解决方案是将sMDP与分层RL（HRL）耦合。HRL是一种方法，其中决策模型由决策频率不同的策略层组成，从元策略到基本策略。我们对电子交易代理的制定在很大程度上源于Kulkarni对基于规则的深层HRL的解释【Kulkarni et al.，2016】，因为我们能够在有序（无规则）的层级RL中施加合理的规则，其中元策略的时间抽象属性是从原始策略的行为或目标聚类中产生的【Bacon et al.，2017】【Fox et al.，2017】【Vezhnevetset等人，2017年】。然而，人工智能代理使用时间抽象的能力方面的核心问题仍未解决：代理在总体目标背景下对子目标和内在回报的解释，时间抽象在融合时的崩溃，在探索密集环境中的样本效率，以及深层次的层次结构。4.3算法、监管和计算挑战电子交易代理在复杂、不断发展和快速变化的环境中运行。

代理的复杂性增加，从而产生更好的决策和效率提高，这可能是一个加号，但它可能会影响代理的计算性能，并最终导致部署不可行。限制代理电子交易中代理复杂性的另一个制约因素是需要理解、预见和解释其决策——从最高决策层到最低决策层。在某些地区，要求交易算法产生可预测、可控和可解释的行为：代理人不得破坏所谓的有序市场条件，代理人的操作员必须能够解释代理人的行为如何为客户产生最佳结果。分层方法在这方面很有帮助：它基于这样一种观察，即代理的决策可以分为需要不同采样频率和不同粒度级别的组。我们已经在上文中提到，层次结构和HRL带来了代理模块之间职责分离的可能性，虽然我们仍然可以在每个模块中使用神经处理和强化学习，但我们也能够管理代理的总体复杂性，我们可以更好地理解它做什么以及为什么它做什么。5分层强化学习模式5.1基于搜索的元策略优化模拟繁重学习任务训练RL代理需要多次情节展开，由于代理与其环境之间的反馈回路，每次都无法并行化。基于梯度的智能体训练存在大量的经验对，这些经验对往往是冗余和有噪声的。

在训练过程中，良好的行为会被遗忘，除非学习算法严重偏离了策略，而涉及移动目标的梯度优化的成功是很难保证的。因此，尽管政策学习算法最近取得了进展，但使用参数搜索算法追求无梯度优化仍然是一个实际的选择。我们通过应用超参数优化技术来训练参数化代理在全范围控制中的情景效用，取得了相当大的时间效率【Osborne等人，2009年】【Bergstra等人，2011年】，这也提高了整体执行性能，而无需处理奖励设计。我们希望强调参数搜索算法的学习效率。通过探索使用不太确定的优化，每次试验的样本集更少，但并行运行。尽早停止无趣的路径是两者之间的一个很好的折衷。然而，我们希望通过早期停止的贝叶斯方法继续这一发展路线。5.2针对低级决策过程的可扩展深度强化学习在上一节中，我们提到了电子交易代理开发面临的一些挑战：部分可观察的环境、细粒度市场动态、代理观察结果及其总体业务目标之间可能存在的时间范围不可通约性，巨大的状态空间，以及延迟和可能交错的奖励。构建的模拟环境中的代理试图再现环境的一些特性，模拟真实市场对代理行为的反应。初步看来，这需要一个支持可扩展仿真和可扩展RL算法的体系结构。

Gorila架构【Nair等人，2015年】说明了DQN算法【Mnih等人，2013年】如何在规模上得到应用，从而产生更好的结果。对于A3C【Mnih等人，2016年】，最近通过IMPALA算法实现了类似的功能【Espeholt等人，2018年】。一般来说，是否以及如何扩展其他RL算法方案以利用大规模集群计算，从而获得性能更好的策略，这是一个有趣的问题。对于希望利用可用计算资源针对其用例使用特定算法的实践者来说，基于证据的指南将非常有用。一个令人兴奋的发展是出现了开源RL框架，如OpenAI基线【Dhariwal等人，2017年】、ELF【Tian等人，2017年】、Horizon【Gauci等人，2018年】、dopamine【Bellemare等人，2018年】、TRFL【Deepmind，2018年】和Ray RLlib【Moritz等人，2017年】。这些框架和工具已经使最先进的强化学习算法能够为更多的读者所接受。然而，前面提到的RL框架还很年轻，远没有像Google TensorFlow、PyTorch、orRL等流行的深度学习库那样成熟和“生产就绪”，这将大大有助于扩展RL方法的可访问性。我们发现Ray RLlib很有用。它是在分布式强化学习的基础上从头开始构建的。它的基础是一个坚实的基础设施，该基础设施利用任务并行和参与者模型【Aghaand Hewitt，1987】编程模式，即编程范式，已证明在设计高效、大规模分布式计算系统方面非常成功【Armstrong，2010】。RL实验可能非常耗时，通常在一系列部分实验中完成，有时会被故障中断。Ray的设计【Moritz等人，2017年】也解决了容错问题。

必须拥有通用、多功能和高效的工具来提高生产率，例如易于使用和低成本的RL培训监控和支持。从计算性能的角度来看，RL算法的另一个挑战是选择调度器。它允许用户以代码注释的形式陈述资源需求，例如CPU、GPU或自定义资源的数量。这可用于在高级别上优化任务的计算性能，而无需用户理解或干预任务调度。6结果的不确定性和经典强化学习理论的不足在大多数标准RL应用程序中，代理的奖励被假定为确定性的。与这一假设相反，电子交易代理通常在结果不确定性内置的环境中运作。在隐藏的数据生成过程之上，很容易将这种不确定性称为“噪音”，这确实是默认近似值。在数据驱动的机器学习文化和算法文化中，结果的不确定性不是“噪音”，而是它的工作方式。我们不能简单地将市场的不确定性聚合起来，因为它在工具上很重要。正如我们在本文其他章节中所展示的，电子交易结果的价值是多重的、限制和客户的指示，我们还需要有一种稳健的方式来纳入软约束和禁止行为的层次结构。这种结果固有的不确定性和丰富的奖励多维结构挑战了标准的RL理论，在该理论中，代理人学习的行动能够在平均水平上产生更好的标量值结果。在财务方面，我们也重视总体结果，但也重视结果分布的尾部。

我们需要一种将两者结合起来的方法。已经提出了对标准RL方法的轻度扩展：纳入效用函数，以评估多维和不确定的结果。正如在投资组合建设（portfolioconstruction）等其他金融应用程序中一样，代理学习确定性等效意义上的良好行为：不确定的结果和未来的分布。例如，考虑一个有限流程的标量不确定奖励的情况（允许我们忽略折扣因素），其中全局奖励是本地奖励的总和。该案例反映了非典型的电子交易设置：为了在资产的每股基础上提供最佳可能结果，标准RL方程为（另见Bühler et al.（2018）和Mihatsch and Neueier【2002】）：CE（π（ai | si））=U-1E级Uri+1（π（ai | si））+maxπ（ai+1 | si+1）CE（π（ai+1 | si+1））（1） whereUandU-1是效用函数及其逆函数，Edenotes期望，CEdenotes certaintyCE（·）=U-1E[U（·）]π（ai | si）πsiri+1（π（ai | si））是它的不确定回报。与传统RL相比，效用函数和确定性等效行动排序的使用引入了更加丰富的代理结构：在CERL中，代理获得了基于其风险偏好和约束以及由总体业务目标施加的目标的特征，无论多么原始。如果客户厌恶风险，则结果的不确定性增加会导致贴现系数γ。在经典RL中，它通常被引入为有限或近有限过程的外生参数。在CERL中，随着我们对未来的进一步展望，结果分布的扩大（相当于风险的增加）自然会产生这种结果。7结论还有许多问题。

我们希望他们能为具有挑战性的问题增添新的视角是否有一种严格的方法来解释多维奖励如何将持续时间不确定的过程的概念纳入MDP范式如何应对不确定的结果/回报如何为市场运营代理创造现实的培训环境？一种可能的解决方案是开发全面的艺术环境，现实地再现市场。模拟的多代理市场将具有实用价值和学术价值如何将冲突/互补的本地和全球奖励严格结合起来除了使用领域知识来分离不同时间尺度的过程，并使用分层培训，是否有一种严格的方法来设计在多个时间尺度上运行的代理可扩展性：在电子交易中，培训许多在类似但最终不同的环境中运行的代理似乎在计算上很有效，而不是培训一个代理来处理所有环境。针对不同环境培训的代理是否有办法从彼此的技能中获益？除了测试它们的功能外，还有什么方法可以判断两个受过训练的代理本质上是相似的吗仅适用于全局奖励是本地奖励的顺序聚合的流程。是否可以开发一种更通用的顺序决策方法，将上述特征结合起来是否有一种平衡和系统的方法，一方面可以让受过RL培训的代理了解其行为并解释其行为。参考面向对象编程研究方向，第49-74页。麻省理工学院，1987年。Nima Akbarzadeh、Cem Tekin和Mihaela van der Schaar。限额订单交易执行在线学习。IEEE Trans。信号处理，66（17）：4626–46412018。乔·阿姆斯特朗。爱尔兰。公社。ACM，53（9）：68–752010。

统一资源定位地址http://doi.acm.org/10.1145/1810891.1810910.Pierre-Luc培根、Jean Harb和Doina Precup。选项评论家架构。AAAI，第1726-1734页。AAAI出版社，2017年。统一资源定位地址https://aaai.org/ocs/index.php/AAAI/AAAI17/paper/view/14858.2018.统一资源定位地址https://github.com/google/dopamine.James柏格斯特拉、雷米·巴登、约舒亚·本吉奥和巴尔萨斯·凯格尔。超参数优化算法。在NIPS中，第2546–2554页，2011年。统一资源定位地址https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.HansBühler、Lukas Gonon、Josef Teichman和Ben Wood。深度对冲，2018年。统一资源定位地址https://arxiv.org/abs/1802.03042.Deepmind.TRFL，2018年。统一资源定位地址https://github.com/deepmind/trfl.Prafulla达里瓦尔、克里斯托弗·黑塞、奥列格·克里莫夫、亚历克斯·尼科尔、马蒂亚斯·普拉佩特、亚历克·拉德福德、约翰·舒尔曼、西蒙西多尔、吴玉怀和彼得·卓霍夫。2017年OpenAI基线。统一资源定位地址https://github.com/opfenai/baselines.JonathanDoering、Michael Fairbank和Sheri Markose。卷积神经网络在高频市场微观结构预测中的应用。CEEC，第31-36页。IEEE，2017年。统一资源定位地址https://ieeexplore.ieee.org/document/8101595.Lasse埃斯佩霍尔特、休伯特·索耶、雷米·穆诺斯、凯伦·西蒙、沃洛蒂米尔·姆尼赫、汤姆·沃德、约塔姆·多伦、URLhttp://proceedings.mlr.press/v80/espeholt18a.html.https://publications.europa.eu/s/iPhY.https://arxiv.org/abs/1703.08294.JasonGauci、Edoardo Conti、Iitao Liang、Kittipat Virochsiri、Yuchen He、Zachary Kaden、Vivek Narayanan和Xiaohui Ye。地平线：Facebook的开源应用强化学习平台，2018年。统一资源定位地址https://arxiv.org/abs/1811.00260.TejasD.Kulkarni、Karthik Narasimhan、Ardavan Saeedi和Josh Tenenbaum。等级深加固ementhttp://arxiv.org/abs/1604.06057.Oliver米哈奇和拉尔夫·纽尼尔。风险敏感强化学习。机器学习，49（2-3）：267–2902002。

统一资源定位地址https://doi.org/10.1023/A:1017940631555.VolodymyrMnih、Koray Kavukcuoglu、David Silver、Alex Graves、Ioannis Antonoglou、Daan Wierstra、，andhttp://arxiv.org/abs/1312.5602.VolodymyrMnih、Adriáa Puigdomènech Badia、Mehdi Mirza、Alex Graves、Timothy P.Lillicrap、Tim Harley、David Silver和Koray Kavukcuoglu。深度强化学习的异步方法。ICML，第48卷，第1928-1937页，2016年。统一资源定位地址http://jmlr.org/proceedings/papers/v48/mniha16.html.PhilippMoritz、Robert Nishihara、Stephanie Wang、Alexey Tumanov、Richard Liaw、Eric Liang、William Paul、，http://arxiv.org/abs/1712.05889.Arun奈尔、Praveen Srinivasan、Sam Blackwell、Cagdas Alcicek、Rory Fearon、Alessandro De Maria、VedavyasPanneershelvam、Mustafa Suleyman、Charles Beattie、Stig Petersen、Shane Legg、Volodymyr Mnih、KorayKavukcuoglu和David Silver。深度强化学习的大规模并行方法。CoRR，2015年。统一资源定位地址http://arxiv.org/abs/1507.04296.ICML，第673–680页，2006年。统一资源定位地址https://doi.org/10.1145/1143844.1143929.Peter诺维格。关于乔姆斯基和统计学习的两种文化，2011年。统一资源定位地址http://norvig.com/chomsky.html.Michael奥斯本、罗曼·加内特和斯蒂芬·J·罗伯茨。全局优化的高斯过程。第三届学习和智能优化国际会议（LION3），第1-15页，2009年。Richard S Sutton、Doina Precup和Satinder Singh。在MDP和半MDP之间：强化学习中的临时抽象框架。《艺术情报》，112（1-2）：181–2111999年。田元东、曲承功、尚温岭、吴玉新和C.LawrenceZitnick。ELF：一个广泛、轻量级、灵活的实时战略游戏研究平台。NIPS，第2656–26662017页。统一资源定位地址http://arxiv.org/abs/1707.01067.KorayKavukcuoglu。分层强化学习的封建网络。在ICML第70卷第3540–3549页。PMLR，2017年。

统一资源定位地址http://proceedings.mlr.press/v70/vezhnevets17a.html.ZihaoZhang、Stefan Zohren和Stephen Roberts。DeepLOB：limitorder图书的深度卷积神经网络，2018年。统一资源定位地址https://arxiv.org/abs/1808.03668.