DGM：一种求解偏微分方程的深度学习算法

2022-6-1 06:43:12

DGM：求解部分微分方程的深度学习算法Justin Sirignano*和Konstantinos Spiliopoulos+§2018年9月7日摘要高维偏微分方程一直是一个长期的计算挑战。我们建议通过使用深度神经网络逼近解来求解高维偏微分方程，该网络经过训练以满足微分算子、初始条件和边界条件。我们的算法是无网格的，这是关键，因为网格在高维中变得不可行。神经网络不是形成网格，而是在一批随机采样的时间和空间点上进行训练。该算法在一类高维自由边界偏微分方程上进行了测试，我们能够在高达200维的情况下精确求解。该算法也在高维Hamilton-Jacobi-Bellman偏微分方程和Burgers方程上进行了测试。深度学习算法近似于不同边界条件和物理条件（可以视为高维空间）的连续统一体的Burgers方程的一般解。我们将该算法称为“深伽辽金方法（DGM）”，因为它在精神上与伽辽金方法相似，其解由神经网络近似，而不是基本函数的线性组合。此外，我们还证明了一个关于神经网络对一类拟线性抛物型偏微分方程逼近能力的定理。1深度学习和高维PDE高维偏微分方程（PDE）用于物理、工程和金融领域。他们的数字解决方案一直是一个长期的挑战。由于网格点数量的激增和时间步长的减少，有限差分方法在高维中变得不可行。如果有d个空间维度和1个时间维度，则网格的大小为Od+1。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:14

当维数d变得甚至中等大时，这很快就变得难以计算。我们建议使用无网格深度学习算法求解高维偏微分方程。该方法在精神上与伽辽金方法相似，但使用机器学习的思想进行了一些关键更改。伽辽金方法是一种广泛使用的计算方法，它寻求作为基函数线性组合的偏微分方程的简化形式解。深度学习算法，或“深度伽辽金方法”（DGM），使用深度神经网络，而不是基函数的线性组合。使用随机梯度下降法在随机采样的空间点上训练深层神经网络，以满足微分算子、初始条件和边界条件。通过随机采样空间点，我们避免了需要形成网格（在高维中不可行），而是将PDE问题转化为机器学习问题。DGM是Galerkin方法和机器学习的自然融合。该算法原则上是traightforward；见第2节。第4节后面给出了一类有希望的数值结果*伊利诺伊大学香槟分校，Urbana，电子邮件：jasirign@illinois.edu+波士顿大学数学与统计系，波士顿，电子邮件：kspiliop@math.bu.edu作者感谢JP Morgan机器学习和人工智能论坛研讨会、帝国理工学院伦敦应用数学和数学物理研讨会、科罗拉多大学博尔德分校、普林斯顿大学和西北大学应用数学系的与会者的评论。作者还想感谢2017年INFORMS应用概率会议、2017年希腊随机学会议和2018年暹罗年会的与会者的意见。§K.S.研究。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:18

部分由国家科学基金会（DMS 1550918）资助。本文的计算是使用Blue Waters超级计算机授予的“神经网络分布式学习”进行的。高维自由边界偏微分方程。我们还精确地求解了第5节中的高维Hamilton-JacobiBellman偏微分方程和第6节中的Burger方程。DGM将有限差分的计算成本转换为一种更方便的形式：不再是Od+1的巨大网格（无法处理），而是生成许多批次的随机空间点。虽然空间点的总数可能很大，但该算法可以在不影响收敛速度的情况下顺序处理空间点。深度学习已经彻底改变了图像、文本和语音识别等领域。这些领域需要能够对高维输入的非线性函数建模的统计方法。深层学习，即多层神经网络（即“深层神经网络”），在实践中证明对此类任务非常有效。多层神经网络本质上是一个非线性操作的“堆栈”，其中每个操作由必须根据数据估计的特定参数描述。实践中的性能在很大程度上取决于所使用的神经网络体系结构和训练算法的特定形式。神经网络结构和训练方法的设计在过去十年中一直是深入研究的重点。鉴于深度学习的成功，人们也越来越有兴趣将其应用于科学和工程的其他领域（一些例子见第1.2节）。评估深度学习算法的准确性并不简单。具有半解析解的偏微分方程可能没有足够的挑战性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-6-1 06:43:21

（毕竟，半解析解是存在的，因为PDECA可以转换为低维方程。）它无法与传统的差异（在高维度上失败）进行基准测试。我们在一类高维自由边界偏微分方程上测试了深度学习算法，这类偏微分方程的特殊性质是可以计算任何近似解的误差界。这为在无半解析解的高维偏微分方程组上评估深度学习算法的准确性提供了一个独特的机会。这类高维自由边界偏微分方程在金融领域也有重要的应用，在金融领域，它用来为美式期权定价。美式期权是股票投资组合的金融衍生品。PDE中的空间维度数量等于投资组合中的股票数量。金融机构对几十种甚至数百种股票的投资组合的期权定价很感兴趣[43]。因此，非常需要数值方法来精确求解高维自由边界偏微分方程。我们还在高维Hamilton-Jacobi-Bellman偏微分方程上测试了深度学习算法，得到了准确的结果。我们考虑一个高维Hamilton-Jacobi-Bellman偏微分方程，其动机是对一个随机热方程进行最优控制。最后，在一系列问题设置（例如，不同的物理条件和边界条件）上找到PDE的解决方案通常很有意义。例如，这可能有助于工程系统的设计或不确定性量化。问题设置空间可能是高维的，因此可能需要为许多不同的问题设置解决许多偏微分方程，这可能在计算上很昂贵。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:24

我们使用我们的深度学习算法来近似不同边界条件、初始条件和物理条件下Burgers方程的一般解。在导言的其余部分，我们概述了我们关于拟线性抛物型偏微分方程的神经网络逼近能力的结果（第1.1节），以及相关文献（第1.2节）。第2节介绍了求解偏微分方程的深度学习算法。第3节制定了一个评估扩散算子的有效方案。第4、5和6节介绍了该算法的数值分析。我们在高达200维的一类高维自由边界偏微分方程上实现并测试了该算法。第7节介绍了用神经网络逼近偏微分方程解的定理和证明。结论见第8节。为了便于阅读，附录A.1.1中收集了第7节的证明。我们还证明了一个关于一类拟线性抛物型偏微分方程的神经网络逼近能力的定理。考虑潜在的非线性偏微分方程tu（t，x）+Lu（t，x）=0，（t，x）∈ [0，T]×Ohmu（0，x）=u（x），x∈ Ohmu（t，x）=g（t，x），x∈ [0，T]×Ohm, （1.1）其中Ohm 是域的边界Ohm. 解u（t，x）当然是未知的，但可以通过最小化LerrorJ（f）=k来找到近似解f（t，xtf+Lfk2，[0，T]×Ohm+ kf公司- gk2，[0，T]×Ohm+ kf（0，·）- uk2，Ohm.误差函数J（f）衡量近似解f满足微分算子、边界条件和初始条件的程度。注意，假设不知道实际解u；J（f）可以直接从任何近似f的PDE（1.1）计算得出。目标是构造J（f）尽可能接近0的函数SF。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

大多数88

2022-6-1 06:43:27

将CNA定义为一类具有单个隐藏层和n个隐藏单元的神经网络。设fn是一个具有n个隐单元的神经网络，使J（f）最小化。我们证明，在一定条件下，存在fn∈ cnj（fn）→ 0，作为n→ ∞, 和fn→ u为n→ ∞,强in，Lρ（[0，T]×Ohm), ρ<2，对于一类拟线性抛物型偏微分方程；具体说明见第7.2小节和第7.3款。也就是说，当隐单元数趋于完整时，神经网络将在Lρ，ρ<2收敛到偏微分方程的解。第7节给出了理论要求及其证明的精确陈述。证明需要对神经网络的逼近能力以及偏微分方程的连续性进行联合分析。注意J（fn）→ 0不一定意味着fn→ u、假设我们只能控制近似误差。首先，我们证明了J（fn）→ 0作为n→ ∞. 然后我们建立每个神经网络{fn}∞n=1带有源项hn（t，x）的统计数据。在一定条件下，我们可以证明fn的收敛性→ u为n→ ∞ 在Lρ（[0，T]×中Ohm), 对于ρ<2，使用神经网络逼近的光滑性和紧致性参数。定理7.3建立了求解偏微分方程（至少在一类拟线性抛物型偏微分方程中）的神经网络的逼近能力；然而，直接最小化J（f）在计算上并不容易，因为它涉及高维积分。DGM算法使用无网格方法最小化J（f）；参见第2.1.2节相关文献使用神经网络近似求解偏微分方程是一个自然的想法，之前被认为是不变形式。【29】、【30】、【46】、【31】和【35】建议使用神经网络来解决偏微分方程和微分方程。这些论文在先验固定网格上估计神经网络解。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:30

本文提出使用深度神经网络，并且是无网格的，这是解决高维偏微分方程的关键。特别是，本文探讨了一些新的创新。首先，我们关注高维偏微分方程，并将过去十年的深度学习进展应用于该问题（深度神经网络代替浅层神经网络，改进神经网络优化方法等）。开发、高效实现并测试了高维自由边界偏微分方程的算法。特别是，我们开发了一种迭代方法来处理自由边界。其次，为了避免形成网格，我们对一系列随机空间点进行采样。这就产生了一种无网格方法，这对于高维偏微分方程至关重要。第三，该算法结合了一种新的计算方案，用于高效计算由高维偏微分方程二阶导数产生的神经网络梯度。最近，[41，42]开发了以物理为基础的深度学习模型。他们估计深度神经网络模型，该模型将数据观测值与PDE模型相结合。这允许利用物理动力学应服从一类偏微分方程的先验知识，从有限的数据中估计物理模型。他们的方法使用深度神经网络在一维和二维空间中求解偏微分方程。[32]使用深度神经网络对雷诺平均Navier-Stokes（RANS）模型中的雷诺应力进行建模。RANS是流体动力学中湍流的降阶模型。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:33

[15，2]最近还开发了一种模式，用于求解一类拟线性偏微分方程，该类偏微分方程可以表示为具有单个隐层的前向-后向随机微分神经网络，n个隐单元是Cn=nh（t，x）：R1+d7形式的函数→ R:h（t，x）=Pni=1βiψα1，it+Pdj=1αj，ixj+cjowhereψ：R→ R是一个非线性“激活”函数，如sigmoid或tanh函数。方程（FBSDEs）和[16]进一步发展了该算法。[15，2，16]中开发的算法专注于计算单点PDE解的值。我们在这里介绍的算法是不同的；特别是，它不依赖于FBSDE表示的可用性，而是在所有时间和空间上生成PDE的整个解决方案。此外，我们使用的深层神经网络架构（与[15，2]中使用的架构不同）似乎能够准确地恢复整个解决方案（至少对于我们研究的方程）。【49】使用卷积神经网络来求解Navier-Stokes偏微分方程数值解所需的大型稀疏线性系统。此外，[9]最近开发了一种新的偏微分方程方法来优化深层神经网络。【33】开发了一种算法，用于求解一类自由边界偏微分方程的离散时间版本。他们的算法通常被称为“Longstaff-Schwartz方法”，使用动态规划，并在每个离散时间使用单独的函数近似器（通常是基函数的线性组合）来近似解。我们的算法直接求解偏微分方程，并对所有空间和所有时间使用单函数逼近器。[45]、[23]和其他人对Longstaff-Schwartz算法进行了进一步分析。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:35

稀疏网格方法也被用于求解高维偏微分方程；参见【43】、【44】、【22】、【6】和【7】。关于神经网络逼近能力的一般结果，我们将感兴趣的读者引向经典著作【11、25、26、39】，我们还提到了【38】最近的工作，其中作者研究了在均方意义下逼近分类函数所需的ReLU神经网络的必要和有效复杂性。2算法考虑具有d空间维度的抛物线PDE：ut（t，x）+Lu（t，x）=0，（t，x）∈ [0，T]×Ohm,u（t=0，x）=u（x），u（t，x）=g（t，x），x∈ Ohm, （2.1）其中x∈ Ohm DGM算法用深度神经网络f（t，x；θ）逼近u（t，x），其中θ∈ RK是神经网络的参数。请注意，微分运算符ft（t，x；θ）和Lf（t，x；θ）可以解析计算。构建目标函数：J（f）=ft（t，x；θ）+Lf（t，x；θ）[0，T]×Ohm,ν+kf（t，x；θ）- g（t，x）k[0，t]×Ohm,ν+kf（0，x；θ）- u（x）kOhm,ν.这里，kf（y）kY，ν=RY | f（y）|ν（y）dy，其中ν（y）是y上的正概率密度∈ Y、 J（f）衡量函数f（t，x；θ）满足PDE微分算子、边界条件和初始条件的程度。如果J（f）=0，则f（t，x；θ）是偏微分方程（2.1）的解。目标是找到一组参数θ，以便函数f（t，x；θ）将误差J（f）最小化。如果误差J（f）很小，则f（t，x；θ）将严格满足PDE微分算子、边界条件和初始条件。因此，使J（f（·；θ））最小化的θ产生简化形式的模型f（t，x；θ），该模型近似于偏微分方程解u（t，x）。由于积分覆盖，当维数d较大时，直接最小化J（f）估计θ是不可行的Ohm 在计算上很难处理。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:38

然而，借用一种机器学习方法，我们可以使用随机梯度下降法来最小化J（f），该方法是在从Ohm 和Ohm. 这样可以避免形成网格。DGM算法为：1。从[0，T]×生成随机点（tn，xn）Ohm 和（τn，zn）从[0，T]×开始Ohm 根据各自的概率密度ν和ν。同时，从中绘制随机点wnfromOhm 概率密度ν。2、计算随机采样点sn={（tn，xn），（τn，zn），wn}处的平方误差G（θn，sn），其中：G（θn，sn）=ft（tn，xn；θn）+Lf（tn，xn；θn）+f（τn，zn；θn）- g（τn，zn）+f（0，wn；θn）- u（wn）.3、在随机点sn处采取下降步骤：θn+1=θn- αnθG（θn，sn）4。重复此步骤，直到满足收敛标准。“学习速率”αn随n而增加。步骤θG（θn，sn）是θJ（f（·；θn））：EθG（θn，sn）θn= θJ（f（·；θn））。因此，随机梯度下降算法将平均在目标函数J的下降方向上采取步骤。下降方向意味着目标函数在迭代后减少（即，J（f（·；θn+1））<J（f（·；θn））），因此，在（相对温和的）技术条件下，θn+1是比θn更好的参数估计（见[3]），算法θnwill收敛到目标函数J（f（·；θ））的临界点，即n→ ∞:画→∞kθJ（f（·；θn））k=0。需要注意的是，当f（t，x；θ）是非凸的时，θnmay只能收敛到局部极小值。这通常适用于非凸优化，而不是本文算法的特例。特别是，深层神经网络是非凸的。因此，众所周知，对于神经网络，随机梯度下降只能收敛到局部最小值（而不是全局最小值）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:41

然而，实践证明，随机梯度下降非常有效，是几乎所有深度学习模型训练方法的基本组成部分。3快速计算二阶导数的蒙特卡罗方法本节描述了一种改进的算法，在某些情况下，该算法可能更高效。项Lf（t，x；θ）包含二阶导数fxixj（t，x；θ），在高维中计算可能会很昂贵。例如，20000个二阶导数必须以d=200维计算。神经网络的复杂结构使得计算二阶导数的计算成本很高（例如，请参见神经网络结构（4.2））。计算二阶导数（在总算术运算和内存中）的计算成本为O（d×N），其中d是x的空间维度，N是批量大小。相比之下，计算一阶导数的计算成本为O（d×N）。由于我们实际上需要三阶导数，与二阶导数相关的成本进一步增加θfx（t，x；θ）表示随机梯度下降算法。与直接计算这些二阶导数不同，我们使用蒙特卡罗方法近似二阶导数。假设Lf（t，x，；θ）中的二阶导数之和的形式为pdi，j=1ρi，jσi（x）σj（x）fxixj（t，x；θ），假设[ρi，j]di，j=1为正定义矩阵，定义σ（x）=σ（x），σd（x）. 例如，当考虑随机微分方程的函数期望时，会出现这种情况，其中σ（x）表示微分系数。见方程式（4.1）和相应的讨论。也可以将本节中的算法推广到非线性系数依赖于u（t，x）的二阶导数。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-1 06:43:44

那么，dXi，j=1ρi，jσi（x）σj（x）fxixj（t，x；θ）=lim→0EdXi=1fxi（t，x+σ（x）W; θ) -fxi（t，x；θ）σi（x）Wi, （3.1）其中Wt∈ Rdis是布朗运动 ∈ R+是步长。（3.1）的收敛速度为O(√).设f是x上的三次可微函数，x上有界的三阶导数。然后，直接从泰勒展开式得出：Pdi，j=1ρi，jσi（x）σj（x）fxixj（t，x；θ）- EPdi=1fxi（t，x+σ（x）W;θ)-fxi（t，x；θ）σi（x）Wi≤ C（x）√.常数C（x）取决于ρ、fxxx（t，x；θ）和σ（x）。定义：G（θn，sn）：=ft（tn，xn；θn）+Lf（tn，xn；θn）,G（θn，sn）：=f（τn，zn；θn）- g（τn，zn）,G（θn，sn）：=f（0，wn；θn）- u（wn）,G（θn，sn）：=G（θn，sn）+G（θn，sn）+G（θn，sn）。DGM算法使用梯度θG（θn，sn），需要计算Lf中的二阶导数（tn，xn；θn）。将一阶导数运算符定义为Lf（tn，xn；θn）：=Lf（tn，xn；θn）-dXi，j=1ρi，jσi（xn）σj（xn）fxixj（tn，xn；θ）。使用（3.1），θGis近似为带固定常数的▄gw > 0：~G（θn，sn）：=2ft（tn，xn；θn）+Lf（tn，xn；θn）+dXi=1fxi（t，xn+σ（xn）W; θ) -fxi（t，xn；θ）σi（xn）Wi× θft（tn，xn；θn）+Lf（tn，xn；θn）+dXi=1fxi（t，xn+σ（xn）~W; θ) -fxi（t，xn；θ）σi（xn）~Wi,其中W是一个具有E[W]的d维正态随机变量] = 0和Cov[（W)i、（W）)j] =ρi，j.W与W具有相同的分布. W和▄W都是独立的。~G（θn，sn）是θG（θn，sn）。G（θn，sn）有O(√) 作为近似值的偏差θG（θn，sn）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:47

这种近似误差可以通过使用“对偶变量”的以下方案进一步改进：▄G（θn，sn）：=▄G1，a（θn，sn）+▄G1，b（θn，sn）（3.2）▄G1，a（θn，sn）：=ft（tn，xn；θn）+Lf（tn，xn；θn）+dXi=1fxi（t，xn+σ（xn）W; θ) -fxi（t，xn；θ）σi（xn）Wi× θft（tn，xn；θn）+Lf（tn，xn；θn）+dXi=1fxi（t，xn+σ（xn）~W; θ) -fxi（t，xn；θ）σi（xn）~Wi,G1，b（θn，sn）：=ft（tn，xn；θn）+Lf（tn，xn；θn）-dXi=1fxi（t，xn）- σ（xn）W; θ) -fxi（t，xn；θ）σi（xn）Wi× θft（tn，xn；θn）+Lf（tn，xn；θn）-dXi=1fxi（t，xn- σ（xn）~W; θ) -fxi（t，xn；θ）σi（xn）~Wi.近似值（3.2）为O() 作为近似值的偏差θG（θn，sn）。（3.2）使用对偶变量，从这个意义上讲，G1，a（θn，sn）使用随机变量（W,W) 而▄G1，b（θn，sn）使用(-W, -W).有关模拟算法中对偶变量的背景信息，请参见[1]。可以使用泰勒展开来表示近似误差为(). 重要的是要强调，没有计算成本与; 任意小的无需额外计算成本即可选择（尽管可能存在数值欠流或过流问题）。对二阶导数使用Monte Carlo近似的改进算法为：1。从[0，T]×生成随机点（tn，xn）Ohm 和（τn，zn）从[0，T]×开始Ohm 根据各自的密度ν和ν。同时，从中绘制随机点wnfromOhm 密度ν。2、计算步长▄G（θn，sn）=▄G（θn，sn）+θG（θn，sn）+θG（θn，sn）在随机采样点sn={（tn，xn），（τn，zn），wn}。~G（θn，sn）是θG（θn，sn）。3、在随机点sn处迈出一步：θn+1=θn- αnG（θn，sn）4。重复此过程，直到满足收敛标准。总之，此处的修改算法在计算上比第2节中的原始算法便宜，但会引入一些偏差和方差。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:50

方差实质上增加了随机梯度下降步骤中的i.i.d.噪声；但是，在大量样本中，这种噪声是平均值。第2节中的原始算法是无偏的，方差较小，但计算成本较高。我们在第4节中数值实现了一类自由边界偏微分方程的算法。未来的研究可能会研究其他方法，以进一步改进二阶导数的计算评估（例如，多层蒙特卡罗）。4高维自由边界偏微分方程的数值分析我们在一类高维自由边界偏微分方程上测试了我们的算法。这些自由边界PDE用于为美式期权定价，通常被称为“美式期权PDE”。美国期权（Americanoption）是股票投资组合的金融衍生品。期权所有人可随时∈ [0，T]选择行使美式期权，并获得由投资组合中股票的基础价格决定的回报。T称为期权的到期日，支付函数为g（x）：Rd→ R、 LetXt公司∈ Rdbe是d股票的价格。如果在时间t，股票价格Xt=x，则期权价格为u（t，x）。价格函数u（t，x）满足[0，t]×Rd上的自由边界PDE。对于美式期权，解决方案u（0，x）最感兴趣，因为这是购买或出售期权的公平价格。除了高维和自由边界外，美式期权PDE的数值求解也具有挑战性，因为支付函数g（x）（既出现在初始条件中，又确定自由边界）不是连续可微的。第4.1节说明了自由边界偏微分方程和求解该方程的深度学习算法。为了解决自由边界问题，我们用迭代方法补充了第2节中提出的算法；见第4.1节。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:53

第4.2节描述了神经网络的体系结构和实现细节。第4.3节报告了存在半解析解的情况下的数值精度。第4.4节报告了不存在半解析解的情况下的数值准确性。4.1自由边界PDE现在指定u（t，x）的自由边界PDE。股票价格动态和期权价格为：dXit=u（Xit）dt+σ（Xit）dWit，u（t，x）=supτ≥tE[e-r（τ∧T）g（Xτ∧T） | Xt=x]，其中Wt∈ RDI是标准布朗运动，Cov[dWit，dWjt]=ρi，jdt。Americanoption的价格是u（0，X）。股票价格动态模型（4.1）在实践中得到了广泛应用，并捕捉到了一些可取的特征。首先，漂移u（x）衡量股票价格的“平均”增长。布朗运动WT代表股票价格的随机性，随机性的大小由系数函数σ（Xit）给出。股票价格的变动是相关的（例如，如果微软的价格上涨，苹果的价格很可能也会上涨）。两支股票i和j之间的相关性大小由参数ρi，j确定。著名的Black-Scholes模型u（x）=ux，σ（x）=σx就是一个例子。在Black-Scholes模型中，每支股票的平均回报率为u。美式期权是一种金融衍生工具，所有者可以随时选择“行使”∈ [0，T]。如果所有者行使期权，他们将获得财务报酬（Xt），其中Xt是标的股票的价格。如果业主不选择行使期权，他们将在最终时间T收到付款（XT）。时间t时美式期权的价值（或价格）为u（t，Xt）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:56

支付函数g（x）的一些典型示例：Rd→ R为g（x）=最大值（Qdi=1xi）1/d-K、 0个g（x）=最大值dPdi=1xi-K、 0个.前者被称为“几何Payoff函数”，而后者被称为“算术Payoff函数”K是“执行价格”，是一个正数。（4.1）中的价格函数u（t，x）是自由边界PDE的解，将满足：0=ut（t，x）+u（x）·ux（t，x）+dXi，j=1ρi，jσ（xi）σ（xj）uxixj（t，x）- ru（t，x），（t，x）：u（t，x）>g（x）.u（t，x）≥ g（x），（t，x）。u（t，x）∈ C（R+×Rd），（t，x）：u（t，x）=g（x）.u（T，x）=g（x）， x、（4.1）自由边界集为F=（t，x）：u（t，x）=g（x）. u（t，x）满足自由边界集F上方的偏微分方程，u（t，x）等于自由边界集F下方的函数g（x）。求解PDE（4.1）的深度学习算法需要模拟自由边界集F上下的点。我们使用迭代方法来处理自由边界。自由边界集Fis使用当前参数估计θn进行近似。该近似自由边界用于我们模拟点的概率度量。对于用于模拟随机点的概率密度的θ输入，不采用梯度。为此，确定目标函数：J（f；θ，|θ）=ft（t，x；θ）+u（x）·fx（t，x；θ）+dXi，j=1ρi，jσ（xi）σ（xj）fxixj（t，x；θ）- rf（t，x；θ）[0，T]×Ohm,ν（￠θ）+kmax（g（x）- f（t，x；θ），0）k[0，t]×Ohm,ν（￠θ）+kf（T，x；θ）- g（x）kOhm,ν.在方向上采取下降步骤-θJ（f；θ，|θ）。ν（|θ）和ν（|θ）是|带|B中点的密度，定义如下。深度学习算法为：1。从[0，T]×生成点B={tm，xm}Mm=1的随机批次Ohm 根据概率密度ν。选择点▄B={（t，x）∈ B： f（t，x；θn）>g（x）}。2.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:43:59

从[0，T]×生成点B={τm，zm}Mm=1的随机批次Ohm 根据概率密度ν。选择点▄B={（τ，z）∈ B： f（τ，z；θn）≤ g（z）}。3、随机生成一批点B={wm}Mm=1Ohm 概率密度ν。4、在随机采样点Sn={B，~B，B}处，将J（f；θn，~θn）近似为J（f；θn，Sn）：J（f；θn，Sn）=| B | X（tm，xm）∈Bft（tm，xm；θn）+u（xm）·fx（tm，xm；θn）+dXi，j=1ρi，jσ（xi）σ（xj）fxixj（tm，xm；θn）- rf（tm，xm；θn）+|B | X（τm，zm）∈Bmaxg（zm）- f（τm，zm；θn），0+|B | Xwm∈Bf（T，wm；θ）- g（wm）.5、对随机批次Sn进行下降步骤：θn+1=θn- αnθJ（f；θn，Sn）。6、重复上述步骤，直到满足收敛标准。上述算法中的二阶导数可以使用第3.4.2节算法实现细节中的方法进行近似。本节提供了算法实现的细节，包括DGM网络架构、超参数和计算方法。神经网络的结构对其成功至关重要。通常，不同的应用程序需要不同的体系结构。例如，卷积网络对于图像识别至关重要，而长短时网络（LSTM）对于序列数据建模非常有用。巧妙地选择架构，利用应用程序的先验知识，可以显著提高性能。在本文的PDEapplications中，我们发现与LSTMnetworks的神经网络架构在精神上类似的神经网络架构提高了性能。PDE解决方案需要一个模型f（t，x；θ），该模型可以根据最终条件进行“急转弯”，其形式为u（t，x）=max（p（x），0）（当p（x）=0时，一阶导数不连续）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:44:02

对于t<t的解u（t，x）的形状，虽然在偏微分方程中通过微分项“平滑”，但仍将具有非线性特性，在某些空间区域中快速变化。特别是，我们发现以下网络架构有效：S=σ（W→x+b），Z`=σ（Uz`→x+Wz，`S`+bz，`），`=1，五十、 G`=σ（Ug`→x+Wg，`S+bg，`），`=1，五十、 R`=σ（Ur`→x+Wr，`S`+br，`），`=1，五十、 H`=σ（Uh`→x+Wh，`（S）` R`）+bh，`），`=1，五十、 S`+1=（1- G`） H`+Z` S`，`=1，五十、 f（t，x；θ）=WSL+1+b，（4.2），其中→x=（t，x），隐藏层的数量为L+1，并且表示元素乘法（即z 五=zv，zNvN公司). 参数为θ=W、 b、，Uz，`，Wz，`，bz`L`=1，Ug、`、Wg、`、bg、`L`=1，Ur，`，Wr，`，br`L`=1，呃，`，Wh，`，bh`L`=1，W，b.每层单元数为M，σ：RM→ RMis是元素非线性：σ（z）=φ（z），φ（z），φ（zM）, （4.3）式中φ：R→ R是一个非线性激活函数，如tanh函数、sigmoidal函数ey1+ey、校正线性单位（ReLU）max（y，0）。θ中的参数具有尺寸W∈ RM×（d+1），b∈ RM、Uz、`∈ RM×（d+1），Wz`∈ RM×M，bz`∈ RM、Ug、`∈ RM×（d+1），Wg`∈ RM×M，bg`∈ RM，Ur`∈ RM×（d+1），Wr`∈ RM×M，br`∈ RM呃`∈ RM×（d+1），Wh`∈ RM×M，bh`∈ RM，W∈ R1×M和b∈ R、体系结构（4.2）相对复杂。在每一层中，实际上有许多计算的“子层”。其重要特征是输入非线性函数的重复元素相乘。这有助于建模在某些时空区域快速变化的更复杂函数。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-1 06:44:05

神经网络体系结构（4.2）类似于LSTM网络（见【24】）和公路网络（见【47】）的体系结构。神经网络（4.2）中的关键超参数是层数L、每个子层中的单元数SM以及激活单元φ（y）的选择。我们发现，对于本文中的应用，超参数L=3（即四个隐藏层）、M=50和φ（y）=tanh（y）是有效的。值得注意的是，选择φ（y）=tanh（y）意味着f（t，x；θ）是光滑的，因此可以求解偏微分方程的“经典解”。使用Xavierinitialization初始化神经网络参数（参见[18]）。如果σ（·）是tanh或sigmoidal函数，则架构（4.2）在输入x中有界（对于参数θ的固定选择）；允许网络无界以接近无界/增长函数可能会有所帮助。我们发现，用身份函数替换H`子层中的σ（·）可以有效地发展无界网络。我们强调，网络的唯一输入是（t，x）。我们不使用（t，x）的任何定制非线性转换。如果选择得当，这些额外的输入可能有助于提高性能。例如，可以将欧式期权PDE解决方案（具有分析公式）作为输入。也可以在算法的目标函数中包含正则化项（例如“惩罚”）。这种正则化术语用于减少机器学习模型估计数据集（数据样本数量有限）中的过度拟合。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:44:09

（例如，一个基于60000张图像的数据估计的模型。）然而，目前尚不清楚这是否有助于本文的应用，因为数据集的大小没有严格的上限（即，人们总是可以模拟更多的时间/空间点）。我们训练神经网络的计算方法涉及几个部分。使用第3节中的方法近似二阶导数。使用异步随机梯度下降法将训练分布在6个GPU节点上（我们将在下面提供更多详细信息）。使用众所周知的ADAM算法（见[27]）和衰减学习率计划更新参数（下文提供了关于学习率的更多详细信息）。通过在一系列训练迭代中计算神经网络解的运行平均值（基本上是构建模型集成的一种计算成本较低的方法），可以提高精度。我们还发现，模型组合（即使是5个小尺寸）也可以略微提高精确度。为了加快训练速度，神经网络的训练分布在多个GPU节点上。我们使用异步随机梯度下降法，这是一种广泛用于机器学习模型并行化训练的方法。在每个节点上，生成i.i.d.空间和时间样本。每个节点计算目标函数相对于其相应批次模拟数据上的参数的梯度。然后使用这些渐变来更新模型，该模型存储在一个名为“parameterserver”的中心节点上。图1显示了计算设置。更新以异步方式进行；也就是说，节点i在完成其工作后立即更新模型，而不等待节点j完成其工作。这里的“工作”是计算一批模拟数据的梯度。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-1 06:44:12

在节点计算新一批模拟数据的梯度之前，它会从参数服务器接收更新的模型。有关异步随机梯度下降的更多详细信息，请参见[13]。图1：GPU节点集群上的异步随机梯度下降。在训练期间，我们会随着迭代次数的增加而减少学习。我们使用学习速率表，其中学习速率是迭代次数的分段常数函数。这是一个典型的选择。我们发现以下学习率表有效：αn=-4n≤ 5, 0005 × 10-45000<n≤ 10, 000-5<10000<n≤ 20, 0005 × 10-620000<n≤ 30, 000-630000<n≤ 40, 0005 × 10-740000<n≤ 45, 000-745000<我们使用大约100000次迭代。“迭代”涉及每个GPU节点上大小为1000的批次。因此，每个迭代都有5000个模拟的时间/空间点。我们总共使用大约5亿个模拟的时间/空间点来训练神经网络。我们使用TensorFlow和PyTorch实现了该算法，这是用于深度学习的软件库。TensorFlow具有反向模式自动微分功能，允许计算各种函数的导数。例如，TensorFlow可用于计算神经网络（4.2）相对于x或θ的梯度。TensorFlow还允许在图形处理单元（GPU）上训练模型。具有数千个内核的GPU可用于高度并行化深度学习模型的训练。此外，我们将计算分布在多个GPU节点上，如上所述。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:44:15

本文的计算是在拥有大量GPU节点的Blue Waters超级计算机上进行的。4.3具有半解析解的高维自由边界偏微分方程我们采用深度学习算法来求解偏微分方程（4.1）。我们的深度学习算法的精度在多达200个维度上进行了评估。结果见下表1。维数错误3 0.05%20 0.03%100 0.11%200 0.22%表1：深度学习算法解与Black-Scholesmodel的半解析解进行了比较。参数u（x）=（r- c） x和σ（x）=σx。所有股票都具有相同的相关性ρi，j=。75，波动率σ=。25，初始股价X=1，股息率c=0.02，利率r=0。期权到期日为T=2，履约价格为K=1。Payoff函数为g（x）=max（Qdi=1xi）1/d-K、 0个. 报告了at货币美式看涨期权的价格u（0，X）的错误。误差为| f（0，X；θ）-u（0，X）| | u（0，X）|×100%。表1中使用的半解析解如下所示。设u（x）=（r-c） x，σ（x）=σx，ρi，j=ρ，对于i 6=j（即Black-Scholes模型）。如果（4.1）中的payoff函数为g（x）=max（Qdi=1xi）1/d- K、 0个,（4.1）有一个半解析解：u（t，x）=v（t，（dYi=1xi）1/d- K），（4.4），其中v（t，x）满足一维自由边界PDE0=vt（t，x）+uxvx（t，x）+σxvx（t，x）- rv（t，x），（t，x）：v（t，x）>^g（x）.v（t，x）≥ ^g（x），（t，x）。^v（t，x）∈ C（R+×Rd），（t，x）：v（t，x）=^g（x）.v（T，x）=^g（x）， x、（4.5）式中，^σ=dσ+d（d-1） ρσd，^u=（r- c）-^σ+σ，且^g（x）=最大值（x，0）。一维偏微分方程（4.5）可以使用有限差分方法求解。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:44:18

如果f（t，x；θ）是深度学习算法对（t，x）处的DE解的估计，则点（t，x）处的相对误差为| f（t，x；θ）-u（t，x）| u（t，x）|×100%，点（t，x）处的绝对误差为| f（t，x；θ）- u（t，x）|。点（t，x）处的相对误差和绝对误差可使用半解析解（4.4）进行评估。虽然（t，x）=（0，x）处的解是美式期权最感兴趣的，但大多数其他PDE应用程序对整个解u（t，x）感兴趣。深度学习算法提供了跨越所有时间和空间的近似解（t，x）∈ [0，T]×Ohm. 作为一个例子，我们在图2中给出了20维美式期权PDE在时间和空间上的绝对误差和百分比误差等高线图。等高线图按以下方式生成：1。在[0，t]上均匀采样时间点t\'，并从Xt，…，的联合分布中采样空间点x`=（x`，…，x`），Xtin方程（4.1）。这就产生了采样点的“包络”，因为XT作为一个从X=1.2的不同过程展开。为`=1，…，计算每个采样点（t`，x`）处的误差E `，五十、 3。在二维子空间上聚合误差t’，（Yi=1x’i）1/20，E`对于`=1，五十、 4。根据数据生成等高线图t’，（Qi=1x’i）1/20，E`L`=1。x轴为t，y轴为几何平均值（Qi=1xi）1/20，对应于最终条件g（x）。图2报告了绝对误差和百分比误差。误差百分比| f（t，x；θ）-对于| u（t，x）| u（t，x）|×100%报告| u（t，x）|>0.05的点。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:44:21

个别区域绝对误差较大；然而，解决方案u（t，x）在这些区域也会增大，因此百分比误差仍然很小。4.4没有半解析解的高维自由边界偏微分方程我们现在考虑一个没有半解析解的美式期权偏微分方程的情况。美国期权偏微分方程具有一个特殊的性质，即可以在近似解上计算误差界。因此，即使在有nosemi解析解的情况下，我们也可以评估深度学习算法的准确性。我们之前只考虑了一种对称情况，其中所有股票的ρi，j=0.75，σ=0.25。本节解决了一个更具挑战性的异质情况，其中ρi，jandσivari在所有维度i=1，2，d、系数适用于2000年至2017年IBM、亚马逊、蒂芙尼、安进、美国银行、通用磨坊、思科、可口可乐、康卡斯特、迪尔、通用电气、家得宝、强生、摩根士丹利、微软、诺德斯特龙、P fizer、高通、星巴克和泰森食品等股票的实际数据。这就产生了一个PDE，其中每个D+D二阶导数项的系数变化很大。相关系数ρi，jrange from-对于i 6=j，0.53至0.80，σi从0.09至0.69。设f（t，x；θ）为神经网络近似值。【45】得出PDE溶液u（t，x）位于区间：u（t，x）∈u（t，x），u（t，x）,u（t，x）=Eg（Xτ）| Xt=X，τ>t,u（t，x）=Esups公司∈[t，t]e-r（s）-t） g（Xs）- 太太. （4.6）其中τ=inf{t∈ [0，T]：f（T，Xt；θ）<g（Xt）}和Msi是由近似图2：Top：绝对误差构造的鞅。底部：误差百分比。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 06:44:24

作为参考，时间0的价格为0.1003，时间T的解为max（x的几何平均值- 1, 0).解f（t，x；θ）Ms=f（s，Xs；θ）- f（t，Xt；θ）-Zst公司ft（s，Xs；θ）+u（Xs）fx（s，Xs；θ）+dXi，j=1σ（Xs，i）σ（Xs，j）fxixj（s，Xs；θ）- rf（s，Xs；θ）ds。（4.7）边界（4.6）仅取决于已知的近似值f（t，x；θ），并且可以通过蒙特卡罗模拟进行评估。MSM的积分也必须离散化。美式期权价格的最佳估计是区间[u（0，X），u（0，X）]的中点，该区间的误差界为u（0，X）-u（0，X）2u（0，X）×100%。数值结果见表2。执行价格神经网络解下限上限误差界0.90 0.14833 0.14838 0.14905 0.23%0.95 0.12286 0.12270 0.12351 0.33%1.00 0.10136 0.10119 0.10193 0.37%1.05 0.08334 0.08315 0.08389 0.44%1.10 0.06841 0.06809 0.06893 0.62%表2：在没有半解析解的情况下评估深度学习算法的精度。参数u（x）=（r- c） x和σ（x）=σx。根据数据估算相关性ρi、Jan和波动率σ，以生成异质性差异矩阵。所有股票的初始股价为X=1，股息率c=0.02，利率r=0。期权到期日为T=2。Payoff函数为g（x）=maxdPdi=1xi- K、 0个. 报告了美式看涨期权价格u（0，X）的神经网络解及其误差界。美式期权价格的最佳估计是区间[u（0，X），u（0，X）]的中点，该区间的误差界为u（0，X）-u（0，X）2u（0，X）×100%。为了计算上限，积分（4.7）用时间步长离散 = 5 × 10-我们在图3中给出了履约价格K=1的20维美式期权PDE在时间和空间上的绝对误差界和百分比误差界等高线图。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-6-1 06:44:27

等高线图的绘制方法如下：1。在[0，t]上均匀采样时间点t\'，并从Xt，…，的联合分布中采样空间点x`=（x`，…，x`），Xtin方程（4.1）。2、`=1，…，计算每个采样点（t`，x`）的误差E`，五十、 3。在二维子空间上聚合误差t`，Xi=1x`i，E`对于`=1，五十、 4。根据数据生成等高线图t`，Pi=1x`i，E`L`=1。x轴为t，y轴为几何平均值pi=1x\'i，对应于最终条件g（x）。图3报告了绝对误差和百分比误差。误差百分比| f（t，x；θ）-u（t，x）| u（t，x）|×100%报告用于| u（t，x）|>0.05的点。应该强调的是，这些是误差界限；因此，实际误差可能更低。等高线图3需要进行大量计算。对于计算误差范围的每个点，需要对（4.6）进行新的模拟。总的来说，需要大量的模拟，我们在Blue Waters超级计算机上分布了数百个GPU。5高维Hamilton-Jacobi-Bellman PDEWe还测试了对应于随机热方程最优控制的高维Hamilton-Jacobi-Bellman（HJB）方程的深度学习算法。具体而言，我们证明了深度学习算法能够准确地解决高维PDE（5.5）。PDE（5.5）的动机是优化控制随机偏微分方程（SPDE）的问题：vt（t，x）=αvx（t，x）+u（x）+σWt型x（t，x），x∈ [0，L]，v（t，x=0）=v（0），v（t，x=L）=v（L），v（t=0，x）=v（x），（5.1）图3：顶部：绝对误差。底部：误差百分比。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝