我们的实验表明，DGM方法在这个意义上不能很好地推广；该函数适用于采样良好的wellon地区（从某种意义上说，这可以被视为在采样发生的地区找到类似但不同的PDE的解决方案）。这对于定义在无界域上的偏微分方程尤其有问题，因为不可能使用均匀分布对这些问题的所有地方进行采样。即使从具有无限支持的分布中采样，我们也可能会对域的相关部分采样不足（或对不相关的区域采样过多）。选择要采样的最佳分布可能是问题的一部分，也就是说，在应用DGM时，可能不清楚在一般情况下使用哪个分布是合适的。因此，探索解决选择抽样分布问题的有效方法将非常有趣。另一方面，人们还可以探索更有效的随机抽样方法，尤其是在更高维度上，例如准蒙特卡罗方法、拉丁超立方体抽样。此外，了解DGM可以（或不能）推广到哪类问题也很有趣；我们称之为元泛化的概念。是否有一种体系结构或培训方法可以为更广泛的PDE产生更好的结果？另一个潜在的研究问题从迁移学习中获得了灵感，在迁移学习中，从解决一个问题中获得的知识可以应用于解决不同但相关的问题。在PDE和DGM的背景下，了解简单相关PDE的解决方案并将此解决方案用作训练数据是否可以提高DGM方法对更复杂PDE的性能？最后，我们指出，最重要的是，神经网络很少是一种“一刀切”的工具。正如数值方法一样，它们需要根据问题进行修改。

持续的实验和反思是改善结果的关键，但对底层过程的深入理解对于避免“黑盒”不透明至关重要。关于性能的说明为了了解DGM对用于训练神经网络的计算环境有多敏感，我们对使用和不使用图形处理单元（GPU）的训练时间进行了基准测试。在机器学习实践者中，GPU能够通过典型的神经网络训练工作负载实现更高的性能，这是因为在数字处理级别有并行化的机会。另一方面，复杂的神经网络架构（如LSTM模型）可能更难并行化。一些免责声明与此相关：这些测试并不详尽。我们的目标只是评估在athand模型中使用GPU可以快多少。其他注意事项是，我们使用的是规模相对较小的培训课程，并且我们使用的是性能相对较低的GPU（GeForce 830M）。第一个测试场景我们从一个具有3个隐藏层和每层50个神经元的DGM网络开始。首先，我们像往常一样训练网络，然后在训练循环中不进行重采样，以验证重采样过程对训练时间没有显著影响。每个优化步骤的数值以秒为单位。秒/优化步骤CPU GPURegular training 0.100 0.119无重采样训练0.099 0.112表6.1：循环内重采样影响令人惊讶的是，我们还验证了GPU的运行速度实际上比CPU慢！接下来，我们显著增加网络规模，以检查对培训时间的影响。

我们训练的网络有10层和20层，两种情况下都有200个神经元。秒/优化步骤CPU GPU10 layers 5.927 3.87320 layers 13.458 8.943 Table 6.2：网络大小影响现在我们看到（常规）训练时间大幅增加，GPU的运行速度比预期的CPU快。我们假设，考虑到DGM网络体系结构的复杂性，GPU引擎实现在计算图中实现足够的并行化，以便在网络较小时比CPU引擎实现运行得更快。第二个测试场景我们在本节开始时注意到，DGM网络中的每个隐藏层都比多层感知器网络大八倍，因为每个DGMnetwork层有8个权重矩阵和4个偏差向量，而MLP网络每层只有一个权重矩阵和一个偏差向量。因此，我们在这里训练了一个具有24个隐藏层和每层50个神经元的MLP网络（就上述3层DGM网络的参数数量而言，这应该大致相当）。我们还训练了一个更大的MLP网络，包含80层和200个neuronsper层（就参数数量而言，应该大致相当于上面的10层DGM网络）。秒/优化步骤CPU GPU24层0.129 0.07780层5.617 2.518表6.3：网络大小影响从以上结果中，我们验证了GPU比CPU具有明显的性能优势，即使对于小型MLP网络也是如此。我们还注意到，虽然不同网络体系结构（具有相当数量的参数）的CPU训练时间大致相等，但GPUengine实现对网络体系结构的复杂性更加敏感。参考书目：奥陶纪（Y.），皮龙诺（O.），2005年。期权定价的计算方法。第30卷。暹罗。阿尔姆格伦，R.，克里斯，N.，2001年。投资组合交易的最佳执行。

风险日记3、5–40。Bishop，C.M.，2006年。模式识别和机器学习。斯普林格。布莱克，F.，斯科尔斯，M.，1973年。期权和公司负债的定价。《政治经济学杂志》81（3），637–654。Brandimarte，P.，2013年。金融和经济学中的数值方法：基于Matlab的简介。约翰·威利父子公司。Burden，R.L.，Faires，J.D.，Reynolds，A.C.，2001年。数值分析。布鲁克斯/科尔帕西克格罗夫，加利福尼亚州卡达利亚吉特，P.，莱哈勒，加利福尼亚州，2017年。平均场控制游戏和贸易拥挤应用。数学与金融经济学，1-29。Carmona，R.，Sun，L.-H.，Fouke，J.-P.，2015年。平均场游戏和系统风险。数学科学通讯14（4），911–933。Cartea，A.，Jaimungal，S.，2015年。限制和市场订单的最优执行。定量金融15（8），1279-1291。Cartea，A.，Jaimungal，S.，2016年。将订单流量纳入最佳执行。数学与金融经济学10（3），339–364。Cartea，A.，Jaimungal，S.，Penalva，J.，2015年。算法和高频交易。剑桥大学出版社。Cybenko，G.，1989年。通过S形函数的叠加进行近似。控制、信号和系统数学2（4），303–314。埃文斯，L.C.，2010年。偏微分方程。美国数学学会，普罗维登斯，R.I.Goodfello，I.，本吉奥，Y.，库维尔，A.，本吉奥，Y.，2016年。深度学习。第1卷。麻省理工学院出版社剑桥。Henderson，V.，Hobson，D.，2002年。替代套期保值。风险杂志15（5），71–76。Henderson，V.，Hobson，D.，2004年。公用事业无差别定价：概述。无差异定价卷。Hochreiter，S.，Schmidhuber，J.，1997年。长期短期记忆。神经计算9（8），1735–1780。霍尼克，K.，1991年。多层前馈网络的逼近能力。神经网络4（2），251–257。Huang，M.，Malham\'e，R.P.，Caines，P.e.，2006年。

大种群随机动态博弈：闭环Mckean-Vlasov系统和纳什确定性等价原理。公社。信息系统。6 (3), 221–252.Kingma，D.P.，Ba，J.，2014年。ADAM：一种随机优化方法。arXiv预印本arXiv:1412.6980。Lasry，J.-M.，Lions，P.-L.，2007年。平均场比赛。《日本数学杂志》2（1），229–260。默顿，R.，1971年。在连续的时间框架内优化消费和投资组合规则。经济理论杂志。默顿，R.C.，1969年。不确定性下的终身投资组合选择：连续时间案例。《经济学与统计评论》，247–257。Pham，H.，2009年。金融应用中的连续时间随机控制与优化。第61卷。施普林格科学与商业媒体。Shalev Shwartz，S.，Ben David，S.，2014年。理解机器学习：从理论到算法。剑桥大学出版社。Sirignano，J.，Spiliopoulos，K.，2018年。DGM：解偏微分方程的深度学习算法。arXiv预印本arXiv:1708.07469。Srivastava，R.K.，Greff，K.，Schmidhuber，J.，2015年。公路网。arXiv预印本arXiv:1505.00387。Touzi，N.，2012年。最优随机控制、随机目标问题和反向SDE。第29卷。施普林格科学与商业媒体。