，N，其中Eat，z[.]表示由事件TVQn=t、ZVQn=z和在时间t时作出决定In=a所条件的期望。我们编写了Qknn算法的伪代码，以计算算法1中的（BVQN，D）。算法1通用Qknn算法输入：–N：时间步数–z：时间T=0时E的状态–ε={E，…，eL}和（p`）L`=1：（εN）Nn的最佳量化的网格和权重=1ΓandΓenth用于分别投影时间n和状态分量的网格，对于n=0，N1： 对于n=n- 1.0 do2：计算时间n时的近似Qknn值：^Qn（z，a）=r（Tn，z，a）+LX`=1p` bVQn+1项目G（z，e`，a），ΓTn+1, 项目F（z，e`，a），ΓEn+1,对于（z，a）∈ Γn×Az；3： 计算时间n^An（z）的最优控制∈ 阿格米纳∈Az^Qn（z，a），代表z∈ Γn，其中argmin很容易计算，因为所有z∈ E4： 通过量化值函数进行分析估计：bVQn（z）=^Qnz、 ^安（z）, z∈ Γn；5： 输出结束：–（bVQ）：估计V（0，z）；我们在备注4.3中讨论了我们可以应用定理4.1的原因。备注4.3当LOB的跳跃次数为N时≥ 1是固定的，可以通过跳跃少于N次来获取受控订单簿的所有状态集（在续集中用K表示）是固定的。因此，（3.6）中定义的奖励函数r是有界的，并且Lipschitz在K上。以下命题表明，VVQ，（N，D）N是由时间离散化、K-最近邻和最优量化方法组合而成的，是时间Tn时值函数的一致估计量，对于N=0，N- 它为值函数的Qknn估计提供了收敛速度。命题4.1 Qknn算法提供的值函数的估计量是一致的。此外，它保持为M→ +∞:VVQ，（N，M）NTVn，ZVn- 越南Tn、ZnM、 2=OαN+M2/d, 对于n=0。

N- 1，其中，我们用k.kM表示2由训练集调节的L（u）范数，该训练集已用于构建估值器VVQ，（N，M）N+1。证据将时间切割误差和量化误差分开，得到：kVnTn、Zn- VV（N，M）NTVn，ZVn公里，2≤ kVn公司Tn、Zn- V（N）NTn、ZnkM，2+kV（N）NTn、Zn- VV（N，M）NTVn，ZVn公里，2。（4.8）步骤1：应用引理3.2，我们得到（4.8）的r.h.s.中第一项的以下界限：kVnTn、Zn- V（N）NTn、Zn公里，2≤αN1- αkbk∞, （4.9）其中kbk∞表示b在[0，T]×E上的上确界。步骤2：注意，如备注4.3所示，满足定理4.1的假设，因此后者为（4.8）的r.h.s.中的第二项提供了以下界：V（N）NTn、Zn- VVQ，（N，M）NTVn，ZVnM、 2=米→∞OM2/天. （4.10）仍需将（4.9）和（4.10）插入（4.8），以完成命题4.1.4.4的证明。数值结果在本节中，我们提出了几个设置来测试Qknn在模拟订单上的效率。我们不接受连续报酬，即f=0，并将做市商在清算其库存后的财富作为最终报酬，即g（z）=x+L（y）。在第一次测试中，强度保持不变，在第二次测试中，强度取决于状态。状态依赖强度的值与Huang et al.（2015）中的值相似（见）。尽管出于可预测性的原因，第3节假设强度不受控制，但在本节中，后者是受控制的过程，即订单到达的强度取决于订单簿中所有参与者的订单加上做市商的订单。

最优交易策略已计算0 10 20 30 40 5000.511.522.533.5队列大小（每平均事件大小）强度（每秒数）限制订单插入强度，模型I第一限制第二限制第三限制0 10 20 30 40 5000.10.20.30.40.50.60.70.80.9队列大小（每平均事件大小）强度（每秒数）限制订单取消强度，第一类限制第二类限制第三类限制10 20 30 40 50-0.0500.050.10.150.20.250.3队列大小（每平均事件大小）强度（每秒数量）市场订单到达强度，第一类限制第二类限制第三类限制图2：强度值w.r.t.第4.4节数值试验中使用的队列大小。该图摘自Huang et al.（2015）（见图13）。作者使用阿尔卡特朗讯公司的数据对强度进行了估算。在两类不同的策略中：在第4.4.1节中，我们测试了算法，以接近那些做市商仅允许在最佳出价和最佳询价下订单的策略中的最优策略；在第4.4.2节中，我们计算了做市商允许自己在订单簿两侧的两个最佳限额下订单的策略类别中的最佳交易策略。请注意，第二类控制比第一类更一般。该代码在上可用https://github.com/comeh.The使用Qknn算法估计条件期望时产生的k个最近邻的搜索非常耗时；尤其是在考虑的10维以上的市场营销问题中。Qknn的效率在很大程度上取决于用于在高维中查找k个最近邻居的算法。

我们使用近似近邻算法快速库（FLANN）实现了该方法，该库引入了inMuja和Lowe（2009），并且已经作为C++、Python、Julia和许多其他语言的库提供。该算法基于树方法。请注意，基于graphalso的最新算法性能良好，也可以使用。4.4.1。案例1：做市商仅以最低价和最低价下单。用A1lim表示仅允许在最佳询价和最佳报价上下单的控制类别。我们实现了Qknn算法来计算A1lim中的最优策略。然后，我们将最优策略与天真策略进行了比较，天真策略包括始终以最佳出价下一个订单，以最佳要求下一个订单。朴素的策略在图中被称为11，可以被视为基准。当订单到达强度的模型是对称的，即投标和投标的强度相同时，朴素策略是一个很好的基准。事实上，在这种情况下，做市商可以预期获得平均价差。在图3a中，我们采用恒定强度来模拟限额和市场订单到达，并采用线性强度来模拟取消订单。在这种情况下，正如我们在图中所看到的，使用Qknn算法计算的策略与朴素策略的性能一样好。请注意，显然，市场制定者必须为状态量化获取足够的分数，以便Qknn算法能够很好地执行。在图3b中，我们绘制了做市商的损益图，当做市商仅使用6000个点来计算状态空间离散化的最优策略时，对于如此少的网格点，Qknn算法表现不佳。

在此设置中，请注意，栅格的（a）10点。（b） 6000个网格点。图3：遵循Qknn估计最优策略（Opt）和朴素策略（11）时的损益直方图。我们采用对称和恒定的强度，短终点时间t=1。请注意，Qknn策略旨在通过减少构建网格时的损失来改善损益（见图3a），如果构建网格时使用较少的点，其性能会更差（见图3b）。天真的策略似乎表现良好。在图4中，我们使用QKNN估计的最优策略绘制了做市商损益的经验柱状图，使用大小为N=10、10、10、10的网格计算状态空间离散化；以及使用naivestrategy的做市商损益的经验柱状图。我们采用了依赖于状态的强度。可以看出，网格的大小越大，最优策略的Qknn估计就越好。在图5中，我们按照Qknn估计的最优策略和朴素策略绘制了做市商的损益图。我们采用与图4中相同的参数来运行模拟，但终端时间除外，我们将其设置为等于T=10。在此设置中，Qknn estimatedoptimal策略的性能比naive策略好得多，这突出了naive策略并非最优的事实。我们在图6中绘制了Qknn在市场动态中加入趋势时的反应。在本例中，我们采用的卖出市场订单的强度高于买入市场订单的强度，这在价格动态中创造了一种艺术性的积极趋势。请注意，QKNN正确理解，最好不要在价格上涨时出售。4.4.2。案例2：做市商在订单簿的前两个限额下订单。

我们将可接受控制的类别扩展到做市商在订单簿的买卖双方的前两个限制上下订单的控制。用A2lim表示后者。我们在A2lim上对Qknn算法进行了仿真测试。在图7和图8中，我们绘制了做市商遵循三种不同策略时损益的经验分布图：o在A2lim（PLOpt2lim）中Qknn估计的最优策略Qknn估计了A1lim（PLOpt1lim）中的最优策略天真的策略，即始终将订单放在最佳出价和最佳询问队列上（PL11）。请注意，当可接受的控制类别扩展时，做市商的损益总是更好，见图7；但在一些数值试验中，扩展的控制组似乎没有改善损益。事实上，我们观察到，使用Qknn amongA2lim和A1lim估计的最终损益在试验中具有类似的经验分布，其结果如图8所示。（a） （b）（c）（d）图4：做市商遵循Qknn估计最优策略（Opt）和朴素策略（11）时的损益直方图。强度λM、λlian和λCidepend取决于订单簿的状态。当遵循Qknn估计的最优策略时，做市商的损益使用网格的10、10、10和10点进行计算：分别见图4a、4b、4c和4d。读者可以看到，做市商通过在状态空间离散化中获得越来越多的分数，增加了他们的预期终端财富（清算后）。此外，当强度依赖于状态时，Naive策略被击败。图5：当做市商遵循最优策略（深蓝色）和朴素策略（浅蓝色）时的损益分布。我们采用对称和依赖于状态的强度；和长期终止时间：T=10。

注意，当强度依赖于状态时，Qknn策略比朴素策略做得更好。图6：Qknn对LOB中艺术性积极趋势的反应。y轴表示做市商在询价侧发送的订单与订单簿中在询价侧和报价侧发送的订单的比率。x轴表示最佳ask限制大小与最佳出价和最佳ask限制大小之和的比率。蓝点是市场上没有趋势的点。橙色点是那些在市场上有积极趋势的点。我们可以看到，Qknn在其决策中正确地考虑了趋势：对于两个相同的订单，当价格预计上涨时，Qknn不太愿意出售。图7：遵循最优策略和幼稚策略的做市商损益（PL11）。终端时间短。市场订单到达的非对称强度：买入市场订单过程的强度高于卖出市场订单过程的强度。做市商在订单簿两侧的前两个限额下订单时，其财富更大，而不是仅在出价和askside的最佳限额下订单时。5、霍克斯过程的模型扩展我们在本节中考虑了一个做市商，其目标是最大化其终端财富的函数，如果订单到达是由霍克斯过程驱动的，则在终端时间T惩罚其库存。让我们首先介绍LOB的霍克斯过程模型。LOB模型：我们假设订单簿接收限制、取消和市场订单。我们用L+（分别为L-) 限价订单到达处理ask（resp.bid）端；通过C+（分别为C-) ask（resp.bid）侧的cancelorder；和M+（分别为M-) 买入（或卖出）市场订单到达流程。

在本节中，我们假设到达的极限订单遵循Hawkes过程动力学，并且我们假设核是指数的。然后，通过（4K+2）变量Hawkes过程（Nt）对订单到达进行建模，该过程具有外生强度λ和指数alkernelφ的向量，即φij（t）=αijβeβtt≥0、图8：遵循最优策略或朴素策略时的损益（PL11）。长期有效期。市场订单到达的对称强度。量化4.10分。请注意，在扩展控制类别上计算的Qknn策略，即在两个第一限制（StratOpt2lim）上的下单，与在原始控制类别上计算的Qknn策略，即在最佳出价和最佳询问（StratOpt1lim）上的下单，执行得一样好。设α=（αij）i，j。我们假设：（α）i，jt的谱半径严格小于1，这是保证模型平稳性和E[λu | Ft]收敛为u的有效条件→ +∞,如霍克斯（1971）所示。注意，在所提出的模型中，以下情况成立：（Hλ）λ假定与控制无关。用D=4K+2表示（Nt）的尺寸，即（Hλ）下Ntwrites强度λ的mth分量：λmt=λm+DXj=1αmjZte-β（t-s） dNjs，对于m=1，D、 众所周知，对于这种强度选择，耦合（Nt，λt）t≥0变为马尔可夫，参见Massouli'e（1998）中的引理6，以获得该结果的证明，此外，我们有：dλmt=-βDλmt- λmdt+DXj=1αmjdNjt，对于m=1，D、 给定初始条件：λm∈ R*+对于m=1，D、 我们现在可以重写控制问题（3.1），在特定情况下，订单簿由霍克斯过程驱动，没有连续奖励，即f=0，并且终端回报代表做市商的终端财富被其库存惩罚。

然后，我们在本节中考虑以下问题：V（t，λ，z）：=supα∈AEαt，z，λGZT公司, （5.1）其中G（z）表示当受控指令簿处于z状态时做市商的财富，加上对其存货的处罚期限；其中A是一组可接受的控制，即做市商在终端时间T>0之前做出的可预测决策。我们现在介绍本节的主要结果。定理5.1 V的特征是以下HJB方程的唯一解：f（T，z，λ）=G（z），对于z∈ E0=ft（t，z，λ）- DβDXm=1λm- λmfλm（t，z，λ）+λmsupa∈亚利桑那州ft、 eam（z），λ+αm- ft、 z，λ,对于0≤ t<t，和（t，z，λ）∈ R+×E×R*+.（5.2）式中，αm=（α1m，…，αDm）。此外，V允许以下表示：V（t，z，λ）=supα∈A.∞Xn=0Eαt，z，λ“Tn≤甘油三酯ZαTn经验值(- |λ|（T- Tn）+DXm=1λmTn- λmDβe-PDj=1βmj（T-Tn）- 1.)#, （5.3）其中，对于n≥ 0，Tn代表时间t后Z的第n次跳跃时间，和（ZαTn，λTn）∞n=0是由α控制的MDP∈ A.其中Eαt，z，λ[.]表示当遵循控制α时，Zt=z，λt=λ条件下的期望值。备注5.1 V在（5.3）中被描述为与具有完整权限的MDP相关的值函数，其中连续奖励读数为：r（t，z，λ）=1t≤TG（z）膨胀(-|λ|（T- t） +DXm=1λm- λmDβe-Dβ（T-t）- 1.),其中||表示L研发部标准证明：（定理5.1）步骤1：让我们检查（5.3）是否成立，其中V定义为（5.1）的解。首先注意，（λt，Zt）是一个PDMDP，即（λt，Zt）在两个跳跃时间之间是确定的。然后，我们旨在将（5.1）中定义的值函数表达式重写为与PDMDP（λt，Zt）t的有限水平控制问题相关的值函数。

为此，我们首先注意到，EPDMDP代表分段确定性马尔可夫决策过程，这是一种MDP，其动态在泵之间是确定性的。通过调节时间跳跃，我们得到：V（t，z，λ）=supα∈AEαt，z，λhGZαTi=supα∈AEαt，z，λ∞Xn=0Tn≤T<Tn+1GZαTn= supα∈A.∞Xn=0Eαt，z，λ田纳西州≤甘油三酯ZαTnPT- 田纳西州≤ Tn+1- 田纳西州田纳西州, （5.4）其中田纳西州nis是N的跳跃时间序列。该过程是一个跳跃过程，强度为us=PDm=1λms。由于它保持不变，以FTn为条件：us=DXm=1λm+λmTn- λme-Dβ（s-Tn），用于s∈ [Tn，Tn+1），那么，我们有：PTn+1- 田纳西州≥ T- 田纳西州田纳西州=Z∞T-Tnuse-Rsuududs=经验值(- |λ|（T- Tn）+DXm=1λmTn- λmDβe-Dβ（T-Tn）- 1.). （5.5）将（5.5）插入（5.4），值函数重写：V（t，z，λ）=supα∈A.∞Xn=0Eαt，z，λ“Tn≤甘油三酯ZαTn经验值(- |λ|（T- Tn）+DXm=1λmTn- λmDβe-Dβ（T-Tn）- 1.)#, （5.6），完成步骤1。（5.6）的r.h.s可被视为与PDMDP相关的有限水平控制问题的值函数。步骤2：让我们证明V是（5.2）的唯一解。首先请注意，以下HJB方程的解G（z）=f（T，z，λ）0=ft型-PDm=1Dβλm- λmfλm+λmsupa∈亚利桑那州ft、 eam（z），λ+αm- ft、 z，λ,对于0≤ t<t。是运算符t=t的固定点o T此处和皮重定义如下：T:F 7→ f的解决方案(ft型- DβPDm=1λm- λmfλm=F（t，z，λ）F（t，z，λ）=G（z），且：t:F 7→ -DXm=1λmsupa∈亚利桑那州ft、 eam（z），λ+αm- ft、 z，λ.现在，我们使用特征方法重写T的图像。让我们取函数F，并定义F=T（F）。让我们来确定∈ [0，T]和λ∈ （R+）D，并用g表示函数g（s，z）=f（s，z，λs，…，λDs），其中，对于m=1，D、 s 7→ λMsi是在[t，t]上定义的微分函数，作为以下ODE的解：dλmsds=-Dβλms- λm, 对于所有t<s≤ T、 λmt=λm.（5.7），对于m=1。

，D，ODE的基本理论提供了（5.7）解的存在性和唯一性，由λms=λm给出+λm- λme-Dβ（s-t） ，对于s∈ [t，t]，且m=1，D、 自g级s=fs+PDm=1dλmsdsfλm，然后g（t，z）=g（z）-RTtF（s，z，λs）ds，最终导致T（F）的以下表达式：T（F）=F（T，z，λ）=G（z）-ZTtF公司s、 z，λsds。（5.8）将（5.8）中的F替换为T（F），我们得到F是T的固定点o Tif且仅当：f（t，λ，z）+DXm=1ZTtλmsfs、 z，λsds=G（z）-DXm=1ZTtλmssupa∈Azf公司s、 eam（z），λs+αmds。注意f（s，λs，z）e-PDj=1Rstλjudus=-DXm=1λmse-PDj=1Rstλjuduspa∈Azf公司s、 eam（z），λs+αm,因此：f（t，λ，z）=G（z）e-PDm=1RTtλmsds+DXm=1ZTtλmse-Rstλudusupa∈Azf公司s、 eam（z），λs+αmds=G（z）e-PDm=1RTtλmsds+supa∈AzEat，λ，zfT、 Z，λT+αm, （5.9）其中，t是大于t的N的第一次跳跃时间，我们表示Z=ZT。方程（5.9）显示了T的固定点o它的特征是：T（f）=G（z）e为任何足够光滑的函数f定义的算子T的固定点-PDm=1RTtλmsds+supa∈AzEat，λ，zhfT、 Z，λT+αmi、 式中，Eat，λ，z[.]表示由事件λt=λ和Zt=z条件下的期望，当在时间t作出决定a时。我们在这里认识到（5.6）中定义的价值函数的最大回报运算符。PDMDP的基本理论表明，最大报酬算子T允许V为一个固定点，从而完成了步骤2。结论在本文中，我们通过将问题改写为具有有限视野的马尔可夫决策过程，从理论和数值上解决了订单簿不同微观结构模型的一般做市问题。这种新的表示方法为做市商的最优策略提供了一个简洁的描述，这种策略可以通过本文提出的一些量化和控制随机化思想来实现。其他算法，如基于强化学习的算法（参见。

Sutton和Barto（2018）第6.5章介绍了（深度）Q-learning，和/或Gu’eant和Manziuk（2019）介绍了其在做市中的应用，看起来特别适合使用MDP表示来解决做市问题，尤其是在高维度的背景下。所提出的方法可适用于解决与一般受控点过程相关的理论和数字控制问题。致谢我们要感谢匿名推荐人对第一版论文的宝贵意见。参考Abergel，F.，Anane。，A、 ，Chakraborti，A.、Jedidi，A.和Muni Toke，I.，《限制订单书》，2016年，剑桥大学出版社。Avellaneda，M.和Stoikov，S.在限额订单簿中进行高频交易。量化金融，2007,8217–224。Balata，A.、Hur\'e，C.、Lauri\'ere，M.、Pham，H.和Pimentel，I.，一类有限维数值可解的McKean-Vlasov控制问题。ESAIM会议记录和调查，2019，65。Balata，A.和Palczewski，J.对马尔可夫过程的最优控制进行了蒙特卡罗回归。eprintarXiv:1712.097052017。Baradel，N.、Bouchard，B.、Evangelista，D.和Mounjid，O.，《最优库存管理和订单账簿建模》。arXiv:1802.08135，2018年。B–auerle，N.和Rieder，U.，《马尔可夫决策过程及其在金融中的应用》，2011，Springer。Cartea，A.和Jaimungal，S.，为算法和高频交易建模资产价格。AppliedMathematical Finance，2010，20（6），512–547。Cartea，A.和Jaimungal，S.，风险度量和高频交易策略的微调。。数学金融，2013，25（3），576–611。Cartea，A.、Jaimungal，S.和Ricci，J.，《低买高卖：高频交易视角》。《金融数学杂志》（SIAMJournal on Financial Mathematics），2014年，第415-444页。Cartea，A.，Penalva，J。

和Jaimungal，S.，算法和高频交易，2015年，剑桥大学出版社。Cont，R.、Stoikov，S.和Talreja，R.，订单动态的随机模型。运筹学，2007，58549–563。El Aoud，S.和Abergel，F.，期权做市的随机控制方法。。世界科学出版公司，2015年，1（1）。Fiorin，L.、Pag\'es，G.和Sagna，A.，《应用于金融的差异过程的产品马尔可夫量化》。《应用概率的方法和计算》，2018年，第1-32页。Fodra，P.和Pham，H.，马尔可夫更新模型中小风险规避的高频交易和渐近性。《暹罗金融数学杂志》，2015a，6（1），656–684。Fodra，P.和Pham，H.，市场微观结构的半马尔可夫模型。《应用数学金融》，2015b，22（3），261–295。Graf，S.和Luschgy，H.，《概率分布量化基础》，第1730卷，2000年，柏林海德堡斯普林格出版社。Gu’eant，O.，《市场流动性的金融数学：从最优执行到做市》，2016年，查普曼和霍尔/CRC。Gu’eant，O.、Lahalle，C.A.和Fernandez Tapia，J.，处理库存风险。数学与金融经济学，2012，7477–507。Gu’eant，O.和Manziuk，I.，《公司债券做市深度强化学习：击败维度诅咒》。arXiv预印本arXiv:1910.132052019。Guilbaud，F.和Pham，H.，具有限额和市场订单的最佳高频交易。QuantitativeFinance，2013，13（1），79–94。Gyor fi，L.、Kohler，M.、Krzyzak，A.和Walk，H.，非参数回归的无分布理论，2002年，Springer。Hawkes，A.G.，一些自激和互激点过程的光谱。Biometrika，1971年，第58,83–90页。Ho，T.和Stoll，H.，交易和回报不确定性下的最优经销商定价。

《金融经济学杂志》，1979年，第9期，第47-73页。Huang，W.、Lehalle，C.A.和Rosenbaum，M.，模拟和分析订单数据：队列反应模型。《美国统计协会杂志》，2015年，110（509），107-122。Hur\'e，C.、Pham，H.、Bachouch，A.和Langren\'e，N.，《有限时域上随机控制问题的深层神经网络算法：收敛性分析》。arXiv:1812.043002018年。Jacquier，A.和Liu，H.，大型股票一级限额指令簿中的最优清算。SIFIN，2018，9（1），875–906。Kharroubi，I.，Langren\'e，N.和Pham，H.，全非线性HJB方程的数值算法：控制随机化方法。蒙特卡罗方法与应用，2014，20，145–165。Lehalle，C.A.、Othmane，M.和Rosenbaum，M.，《基于流动性的最佳交易策略》。arXiv:1803.056902018。Massouli\'e，L.，一类一般交互点过程动力学和应用的稳定性结果。随机过程及其应用，1998，75（1），1–30。Muja，M.和Lowe，D.，使用自动算法配置快速近似最近邻。计算机视觉理论与应用国际会议（VISAPP），2009年。Pag\'es，G.、Pham，H.和Printems，J.，《最佳量化方法和数值金融问题的应用》。《金融数值方法手册》，S.T.Rachev和G.A.Anastassiou编辑，第7章，第253-2982004页（Birkhauser：波士顿）。Rosu，I.，限额订单簿的动态模型。《金融研究回顾》，2008年，第22期，第4601–4641页。Sutton，R.S.和Barto，A.G.《强化学习：导论》，2018年第二期，麻省理工学院出版社。附录A：定理4.1和推论4.1的证明我们将定理4.1和推论4.1的证明分为以下引理。引理A.1旨在限制投影误差。它依赖于Gyor fi等人。

（2002），见第93页，以及为完整起见，B节中所述的Zador定理。引理A.1假设d≥ 取K=Md+2点作为εn的最佳量子化，然后它在（Hu）和（HF）下保持不变，作为M→ +∞,εprojn=OM1/天, （A1）其中我们提醒εprojn：=supa∈AkProjn+1（F（Xn，a，εn））-F（Xn，a，^εn）k表示平均投影误差。证据让我们取η>0，并观察pProjn+1F（Xn，a，εn+1）- F（Xn，a，εn+1）> η= E“MYm=1E”| Xt，（m）n+1-F（Xn，a，εn+1）|>√ηXn，εn+1##=E1.- uBF（Xn，a，εn+1），√ηM,所有x的位置∈ E和η>0，B（x，η）表示中心x和半径η的球。自x 7起→ （1）-x） Mis M-Lipschitz，我们通过应用Zador定理得到：Projn+1F（Xn，a，εn+1）- F（Xn，a，εn+1）> η≤ M【F】L【u】Lk^εn+1- εn+1k+E1.- uBF（Xn，a，εn+1），√ηM=M【F】L【u】LK1/d+E1.- uBF（Xn，a，εn+1），√ηM+ OMK1/天,随着外部噪声量化的点数K变为+∞, 其中，Ms表示网格的大小Γn。让我们引入一个。。。，AN（η），Supp（u）的三次分区，其界限在（Hu）之下，例如对于所有j=1，N（η），aj具有直径η。此外，请注意，存在c>0，这仅依赖于Supp（u），例如n（η）≤cηd.（A2）如果x∈ Aj，然后Aj B（x，η），因此：Eh（1- u（B（Xn，η）））Mi=N（η）Xj=1ZAj1.- u（B（x，η））Mu（dx）≤N（η）Xj=1ZAj1.- u（Aj）Mu（dx）。（A3）还要注意：N（η）Xj=1u（Aj）1.- u（Aj）M≤N（η）Xj=1maxzz（1- z） M级≤e-1N（η）M.（A4）组合（A3）和（A4）导致H（1- u（B（Xn，η）））Mi≤e-1N（η）M.（A5）设L=2kuk∞表示支架的直径u。

然后我们得到，作为M→ +∞,EProjn+1F（Xn，a，εn+1）- F（Xn，a，εn+1）=Z∞PProjn+1F（Xn，a，εn+1）- F（Xn，a，εn+1）> ηdη≤ZLM[F]L[u]LK2/d+P|Projn+1F（Xn，a，εn+1）- F（Xn，a，n+1）|>√ηdη=ZLmin1，e-1N(√η） M级dη+OMK1/天=ZLmin1，cη-下午2点！dη+OMK1/天=Z（c/（eM））（2/d）1dη+ZL（c/（eM））（2/d）cη-d/2eMdη+OMK1/天=~cM2/d+OMK1/天, （A6）式中，c定义为c：=qdd-2.ce公司1/d，我们使用（A5）和（A2）从第二行到第三行。对于外生噪声的最佳量化，仍然需要取K=Md+1分，然后取等式的平方根（A6），以便导出（A1）。引理A.2假设d≥ 3，取K=Md+2点作为εn的最佳量化，和letx∈ E、 然后它在（Hu）和（HF）下保持不变，如M→ +∞:εprojn（x）=OM1/天,式中，εprojn（x），定义为εprojn（x）：=supa∈AkProjn+1（F（x，a，εn））- F（x，a，^εn）k，表示状态x证明下的后期投影误差。按照与证明引理A.1相同的步骤，我们证明：PProjn+1F（x，a，εn+1）- F（x，a，εn+1）> η=M【F】L【u】LK1/d+E1.- uBF（x，a，εn+1），√ηM+ OMK1/天,作为K→ +∞, 此外，E1.- uBF（x，a，εn+1），√ηM≤e-1N（η）M，成立，这足以完成引理A.2的证明。引理A.3在（HF）下，对于n=0，N存在康斯坦斯^VQniL>0，因此对于x，x∈ E、 它保持为M→ ∞:^VQn（x）-^VQn（x）≤h^VQniLx个- x个+ OM1/天. （A7）此外，对于n=0，…，下列界限保持在h^VQniL上，编号：h^VQNiL≤ [g] Lh^VQniL≤ 当n=0时。。。，N- 1.（A8）证明。让我们通过归纳法证明^VQNis-Lipschitz。首先，注意（A7）在终端时间n=n时成立，如果一个defineh^VQNiLash^VQNiL=[g]L。让我们取x，x∈ E、 假设^VQn+1（x）-^VQn+1（x）≤h^VQn+1iL | x- x |+OM1/天对于某些n=0，N- 让我们看看^VQn（x）-^VQn（x）≤h^VQniLx个- x个+ OM1/天,其中，H^VQniLis定义于（A8）。

注意，根据动态规划原理和三角不等式，它成立：| VQn（x）-^VQn（x）|≤ [女]Lx个- x个+ 苏帕安^VQn+1Projn+1（F（x，a，εn+1））-^VQn+1Projn+1F（x，a，εn+1）我≤ [女]Lx个- x个+h^VQn+1伊苏佩Projn+1（F（x，a，εn+1））- F（x，a，εn+1）+ OM1/天≤[f] L+h^VQn+1iL[f]Lx个- x个+ OM1/天≤h^VQniLx个- x个+ OM1/天,这就完成了（A7）的证明。我们现在开始定理4.1的证明。证据（定理4.1的）组合不等式| u+u+u|≤ 3.|u |+| u |+| u|这对所有人都适用∈ 带不等式的Rsupi公司∈Iai公司- supi公司∈Ibi公司≤ supi公司∈I | ai-bi |适用于所有家庭（ai）i∈土地（bi）i∈Iof reals，and all set I，我们有：k^VQn（Xn）- Vn（Xn）k≤ 3 E“supa∈AEn，Xn^VQn+1Projn+1（F（Xn，a，εn+1））-^VQn+1（F（Xn，a，^εn+1））+ 苏帕∈AEn，Xn^VQn+1（F（Xn，a，^εn+1））-^VQn+1（F（Xn，a，εn+1））+ 苏帕∈AEn，Xn^VQn+1（F（Xn，a，εn+1））- Vn+1（F（Xn，a，εn+1））#式中，En，xn表示由状态Xnat时间n条件下的期望值。它保持为M→ +∞,使用引理A.3：k^VQn（Xn）- Vn（Xn）k≤ 3h^VQniLE“苏帕恩，Xn|Projn+1（F（Xn，a，εn+1））- F（Xn，a，εn+1）|+ supaEn，Xn|F（Xn，a，εn+1）- F（Xn，a，εn+1）|#+ 3韩元∞Eh |^VQn+1（Xn+1））- Vn+1（Xn+1））| i+OM1/天（A9）在（HF）下，（A9）可以重写为：k^VQn（Xn）- Vn（Xn）k≤ 3h^VQniL[女]L(Qn）+(projn）+ 3公里∞k^VQn+1（Xn+1）- Vn+1（Xn+1）k+OM1/天.（4.5）然后是归纳法，这完成了定理4.1的证明。证据（关于推论4.1）推论4.1通过插入Lemma提供的投影误差的界而简单明了。1和Zador定理提供的量化误差之一转化为（4.5）。附录B:Zador定理定理B.1（Zador定理）让我们取n=0，N，并用K表示外部噪声εN量化的点数。假设E|εn | 2+η< +∞ 对于某些η>0。

然后，存在一个普适常数C>0，例如：limM→+∞Mdk^εn- εnk= CProof公司。关于定理B.1的证明，我们参考Graf和Luschgy（2000）。