变量p取空间p中的值，我们对PDEu（t，x；p）的解感兴趣。（这有时被称为“PDE的参数化类”。）特别是，假设u（t，x；p）满足PDEut（t，x；p）=Lpu（t，x；p），（t，x）∈ [0，T]×Ohm,u（t，x；p）=gp（x），（t，x）∈ [0，T]×Ohm,u（t=0，x；p）=hp（x），x∈ Ohm. （6.1）传统的方法是对P空间进行离散化，并对许多不同的点P多次重新求解PDE。然而，网格点的总数（以及必须求解的PDE的数量）随着维数的增加呈指数增长，而P通常是高维的。我们建议使用DGM算法来近似不同边界条件、初始条件和物理条件下PDE（6.1）的一般解。深层神经网络使用随机时间、空间和问题设置点（t、x、p）序列上的随机梯度下降进行训练。与之前类似，o初始化θ。o重复直至收敛：–从[0，t]×生成随机样本（t，x，p）Ohm 从[0，t]×开始的x P，（▄t，▄x）Ohm, 和^x来自Ohm.– 构造目标函数j（θ）=ft（t，x，p；θ）- Lpf（t，x，p；θ）+总成（￠x）- f（▄t，▄x，p；θ）+hp（^x）- f（0，^x，p；θ）. （6.2）–使用随机梯度下降步骤θ更新θ-→ θ- αθJ（θ），（6.3），其中α是学习率。如果x是低维（d≤ 3） ，这在许多物理偏微分方程中很常见，f的第一和第二部分导数可以通过链式法则计算或通过有限差近似。我们在有限域上实现了Burgers方程的算法。ut=νux个- αuux、 （t，x）∈ [0，1]×[0，1]，u（t，x=0）=a，u（t，x=1）=b，u（t=0，x）=g（x），x∈ [0, 1].问题设置空间为P=（ν，α，a，b）∈ R、 初始条件g（x）被选为与边界条件u（t，x=0）=a和u（t，x=1）=b相匹配的线性函数。

我们训练一个单一的神经网络来逼近整个空间（t，x，ν，α，a，b）上u（t，x；p）的解∈ [0, 1] ×[0, 1] ×[10-2, 10-1] × [10-2, 1] × [-1, 1] × [-1, 1]. 我们使用了一个比前面的数值例子更大的网络（6层，每层200个单元）。图5比较了深度学习解决方案与几个不同问题设置的精确解决方案p。解决方案非常接近；在某些情况下，这两种解决方案可以明显区分。深度学习算法能够准确捕捉冲击层和边界层。图6显示了不同时间t和不同选择的ν的深度学习算法的准确性。当ν变小时，解变陡。它还显示了激波层随着时间的推移而形成。等高线图（7）报告了b和ν的不同选择的深度学习解决方案的绝对误差。图5：深度学习解决方案显示为红色。通过有限差分发现的“精确解”为蓝色。在时间t=1时报告溶液。解决方案非常接近；在一些情况下，这两种解决方案显然是不可区分的。逆时针顺序的问题设置为（ν，α，a，b）=（0.01，0.95，0.9，-0.9), (0.02, 0.95, 0.9, -0.9), (0.01, 0.95, -0.95，0.95），（0.02，0.9，0.9，0.8），（0.01，0.75，0.9，0.1）和（0.09，0.95，0.5- 0.5).7 PDE的神经网络近似定理让Lerror J（f）衡量神经网络f满足微分算子、边界条件和初始条件的程度。将CNA定义为具有n个隐藏单元的神经网络类，并将fnbea定义为具有n个隐藏单元的神经网络，使J（f）最小化。

我们证明存在fn∈ cnj（fn）→ 0，作为n→ ∞, 和fn→ u为n→ ∞,在适当的意义下，对于一类主项为发散形式的拟线性抛物型偏微分方程，在非线性项的某些增长性和光滑性假设下。我们的理论结果仅如图6所示：深度学习解决方案以红色显示。通过有限差分发现的“精确解”为蓝色。左图：t=0.1，0.25，0.5，1时（ν，α，a，b）=（0.03，0.9，0.95，-0.95).右图：时间t=1时ν=0.01、0.02、0.05、0.09的溶液与（α，a，b）=（0.8，0.75，-0.75).图7：不同b和ν（粘度）的深度学习解决方案的平均绝对误差等值线图。绝对误差在x上取平均值∈ 时间t=1时为[0，1]。涵盖一类拟线性抛物型偏微分方程，如本节所述。然而，本文的数值结果表明，这些结果具有更广泛的适用性。证明需要对神经网络的逼近能力以及偏微分方程的连续性进行联合分析。首先，我们证明了对于极大的n.J（fn），神经网络可以很好地满足微分算子、边界条件和初始条件→ 0作为n→ ∞. （7.1）让u成为PDE的解决方案。声明（7.1）并不一定意味着fn→ u、 证明收敛性的一个挑战是我们只能控制误差。我们首先通过建立每个神经网络{fn}，证明了均匀边界数据情况下的收敛性，即g（t，x）=0∞n=1具有源项hn（t，x）的统计PDE。重要的是，已知的源项hn（t，x）仅在L中消失。

然后我们可以证明fn的收敛性→ u为n→ ∞ 在适当的空间中，使用紧性参数。定理的精确陈述和证明的介绍将在接下来的两部分中进行。第7.1节证明J（fn）→ 0作为n→ ∞. 第7.2节包含Fn对微分方程解u的收敛结果，即n→ ∞. 主要结果是定理7.3。为了便于阅读，附录A.7.1中给出了相应的证明。在本节中，我们提出了一个定理，保证了多层前馈网络的存在，该网络能够在目标函数J（f）任意小的情况下，普遍逼近拟线性抛物型偏微分方程的解。为此，我们使用[26]中关于函数及其导数的通用近似的结果，并对偏微分方程的系数做出适当的假设，以确保经典解的存在（自那时起，应用了[26]中的结果）。考虑一个有界集Ohm  具有平滑边界的RDSOhm 并表示OhmT=（0，T）×Ohm 和OhmT=（0，T）×Ohm. 在这一小节中，我们考虑以下形式的拟线性抛物型偏微分方程tu（t，x）- div（α（t，x，u（t，x），u（t，x））+γ（t，x，u（t，x），u（t，x））=0，对于（t，x）∈ OhmTu（0，x）=u（x），对于x∈ Ohmu（t，x）=g（t，x），对于（t，x）∈ OhmT（7.2）为了便于记法，我们将（7.2）的运算符写为G。

也就是说，让我们表示[u]（t，x）=tu（t，x）- div（α（t，x，u（t，x），u（t，x））+γ（t，x，u（t，x），u（t，x））。注意，我们可以写eg[u]（t，x）=tu（t，x）-dXi，j=1αi（t，x，u（t，x），u（t，x））uxj公司xi，xju（t，x）+^γ（t，x，u（t，x），u（t，x）），其中^γ（t，x，u，p）=γ（t，x，u，p）-dXi=1αi（t，x，u，p）u秀-dXi=1αi（t，x，u，p）xi在本节中，我们考虑具有经典解的（7.2）型方程。特别地，我们假设存在唯一的u（t，x）解（7.2），使得u（t，x）∈ C（“”OhmT） \\ C1+η/2,2+η(OhmT） 带η∈ （0，1）和sup（t，x）∈OhmTXk=1|（k） xu（t，x）|<∞. （7.3）我们请感兴趣的读者参考[28]第五章的定理5.4、6.1和6.2，了解保证上述陈述有效性的α、γ的具体一般条件。在[11，25，26]中的各种假设下，得到了单函数及其导数的普遍近似结果。在本文中，我们使用了文献[26]中的定理3。让我们回顾一下为我们感兴趣的案例而适当修改的设置。设ψ为隐藏单元的激活函数，如sigmoid型，并定义setCn（ψ）=ζ（t，x）：R1+d7→ R：ζ（t，x）=nXi=1βiψα1，it+dXj=1αj，ixj+cj. （7.4）式中θ=（β，···，βn，α1,1，··，αd，n，c，c，··，cn）∈ R2n+n（1+d）构成参数空间的元素。然后我们得到以下结果。定理7.1。设Cn（ψ）由（7.4）给出，其中ψ假设在C（Rd）中，有界且非常数。集合C（ψ）=Sn≥1Cn（ψ）。假设Ohm它是紧凑的，并考虑支持包含在中的度量ν、ν、νOhmTOhm 和Ohmt分别。此外，假设PDE（7.2）具有唯一的classicalsolution，因此（7.3）适用。此外，假设非线性项αi（t，x，u，p）pjand^γ（t，x，u，p）是（u，p）中的局部Lipschitz，Lipschitz常数在u和p上最多可以有多项式增长，与t，x一致。

那么 > 0，存在一个正常数K>0，该常数可能取决于上OhmT | u |，supOhmT型|xu |和supOhmT型|（2） xu |存在一个函数f∈ C（ψ）满足j（f）≤ K.这个定理的证明在附录中。7.2神经网络对偏微分方程解的收敛性我们现在证明，在更强的条件下，神经网络Fn对微分方程解u的收敛性tu（t，x）- div（α（t，x，u（t，x），u（t，x））+γ（t，x，u（t，x），u（t，x））=0，对于（t，x）∈ OhmTu（0，x）=u（x），对于x∈ Ohmu（t，x）=0，对于（t，x）∈ OhmT、 （7.5）作为n→ ∞. 请注意，我们将讨论限制在齐次边界数据上。我们这样做是出于演示和数学原因。目标函数isJ（f）=kG[f]k2，OhmT+kfk2，OhmT+kf（0，·）- uk2，Ohm回想一下，上述规范是各自空间X=OhmTOhm坦德Ohm 分别地根据定理7.1，我们得到了thatJ（fn）→ 0作为n→ ∞.每个神经网络fn满足PDEG[fn]（t，x）=hn（t，x），对于（t，x）∈ OhmTfn（0，x）=un（x），对于x∈ Ohmfn（t，x）=gn（t，x），对于（t，x）∈ OhmT（7.6）对于某些hn、un和GN，例如KHNK2，OhmT+kgnk2，OhmT+kun- uk2，Ohm→ 0作为n→ ∞. （7.7）就本节而言，我们作出以下一组假设。条件7.2.o存在常数u>0和正函数κ（t，x），λ（t，x），因此对于所有（t，x）∈OhmTwe-havekα（t，x，u，p）k≤ u（κ（t，x）+kpk）和|γ（t，x，u，p）|≤ λ（t，x）kpk，带κ∈ L(OhmT） ，λ∈ Ld+2+η(OhmT） 对于某些η>0。我们为（t，x）设置u（t，x）=0∈ OhmT、 例如，g=0，以避免因不均匀边界条件引起的某些技术难题。

如果g 6=0，使得g是一些适当光滑函数的迹，比如φ，那么可以减少上的非齐次边界条件Ohmt通过引入新函数u来代替u来实现齐次函数- φ、 有关此类考虑的详细信息，请参见【28】第五章第4节或【20】第8章。我们在这里不探讨这一点，因为我们的目标不是证明最一般的结果，而是提供一个具体的设置，在其中我们可以证明感兴趣的近似结果的有效性α（t，x，u，p）和γ（t，x，u，p）在（t，x，u，p）中是Lipschitz连续的∈ Ohm形式{（T，x）的紧上的T×R×rd一致∈OhmT、 | u |≤ C、 | p |≤ C} .oα（t，x，u，p）相对于（x，u，p）具有连续导数是可微分的存在一个正常数ν>0，使得α（t，x，u，p）p≥ ν| p |和hα（t，x，u，p）- α（t，x，u，p），p- pi>0，对于每个p，p∈ Rd，p6=p.ou（x）∈ C0,2+ξ（“”Ohm) 对于某些ξ>0且其自身及其一阶导数在‘’内的情况Ohm.o Ohm 是Rdwith boundary的有界开放子集Ohm ∈ C、 o每n∈ N、 fn公司∈ C1,2（“”OhmT） 。此外，（fn）n∈N∈ L(OhmT） 。定理7.3。假设条件7.2和（7.7）保持不变。然后，问题（7.5）在C0，δ，δ/2（“”）中有唯一的有界解OhmT）∩ L0，T；W1,2(Ohm)∩W（1,2），2(OhmT） 对于某些δ>0和任何内部子域Ohm飞行时间OhmT、 此外，fn在Lρ中强收敛到（7.5）的唯一解u(OhmT） 对于每ρ<2。此外，如果序列{fn（t，x）}n∈Nis在n上一致有界且等连续，则收敛到u在OhmT、 这个定理的证明在附录中。我们用一些备注和一个示例来结束本节。备注7.4。尽管对零边界数据的情况有限制，但我们确实希望我们的结果对于相当平滑的非均匀边界数据也是有效的。

此外，如果我们进一步假设非线性α（t，x，u，p）和γ（t，x，u，p）以及初始数据u（x），则可以确定经典解的存在性和唯一性，详情参见[28]第五章第6节示例。事实上，文献[28]第V.6章的结果表明，如果稍微假设非线性函数α（t，x，u，p）导数的增长，γ（t，x，u，p）将导致徐∈ C0，δ，δ/2(OhmT） 对于某些δ>0。此外，我们在此指出，如果已知关于给定近似族{fn}的更多性质，例如适当Sobolev范数的先验界，则可以提出更有力的主张，但我们在此不作进一步探讨。备注7.5。序列{fn}n的统一，in n，Lbound∈对于有界神经网络近似序列fn（t，x），Nis很容易满足。然而，我们认为，对于更广泛的一类模型来说，这是正确的，毕竟，如果fn确实在ρ<2时在Lρ中收敛，那么我们期望这是正确的。关于{fn（t，x）}的等连续性条件既简化了证明，又提出了更有力的主张。然而，这只是一个有效的条件，没有必要。本文[8]见其中的定理19和20，讨论了可施加在前馈神经网络未知权重上的结构限制（先验有界性和可和性），该网络属于C（ψ）=Sn类≥如（7.4）所定义的1Cn（ψ），它保证了神经网络对于连续函数和有界函数的准连续性和通用逼近特性。正如[8]中所讨论的，等连续性还与神经网络的容错特性有关，这是一个值得在偏微分方程背景下进一步研究的课题。

然而，我们在此不进一步讨论这一点，因为这将是一篇不同论文的主题。让我们在下面的示例7.6中展示线性抛物线偏微分方程的情况。通常，H¨older空间C0，ξ（“”Ohm) 是‘’中连续函数的Banach空间Ohm 在‘’中具有高达[ξ]阶的连续导数Ohm 具有有限对应的一致范数和有限一致ξ- [ξ] H–旧标准。类似地，我们还定义了H¨older空间C0，ξ，ξ/2（“”OhmT） 此外，还有定义[ξ]/2和（ξ- [ξ] ）/2分别为时间上的正则和H¨older导数范数。这些空间用Hξ（“”）表示Ohm) 和Hξ，ξ/2（“”OhmT） 分别在[28]中。这里是W（1,2），2(OhmT） 表示Banach空间，它是C的闭包∞(OhmT） 包含来自L的元素(OhmT） 用r，s推广形式为drtdsx的导数，使得2r+s≤ 2使用通常的Sobolev标准。例7.6（线性情况）。假设算子G在u中是线性的，并且u、 特别地，让我们设置αi（t，x，u，p）=nXj=1σσTi、 j（t，x）pj，i=1，···dandγ（t，x，u，p）=-hb（t，x），pi+dXi，j=1xiσσTi、 j（t，x）pj- c（t，x）u。假设存在正常数ν，u>0，使得对于每ξ∈ Rdthe矩阵σσTi、 j（t，x）idi，j=1满意度ν|ξ|≤dXi，j=1σσTi、 j（t，x）ξiξj≤ uξ，系数b和c为dXi=1biq、 r，OhmT+kckq，r，OhmT≤ u，对于我们回忆起的某些u>0，例如kckq，r，OhmT型=RT公司ROhm|c（t，x）| qdxr/q1/r，q满足关系r+d2q=1q∈ （d/2，∞], r∈ [1, ∞), 对于d≥ 2，q∈ [1, ∞], r∈ [1，2]，对于d=1。特别是，在系数b和c以OhmT

在这些条件下，线性偏微分方程的标准结果，如相关结果参见第IIIof【28】章定理4.5，表明类似于定理7.3的近似结果成立。8结论我们相信深度学习可以成为解决高维偏微分方程的一种有价值的方法，而高维偏微分方程在物理、工程和金融领域非常重要。PDE解可以用深度神经网络近似，该网络经过训练以满足微分算子、初始条件和边界条件。我们证明了随着隐单元数的增加，神经网络收敛于偏微分方程的解。我们求解偏微分方程的深度学习算法是无网格的，这是关键，因为网格在更高的维度上变得不可行。神经网络不是形成网格，而是在一批随机采样的时间和空间点上进行训练。该方法适用于一类200维以上的高维自由边界偏微分方程，结果准确。我们还用高维Hamilton-Jacobi-BellmanPDE对其进行了测试，得到了准确的结果。DGM算法可以很容易地修改，以适用于双曲、椭圆和部分积分微分方程。对于这些其他类型的偏微分方程，算法基本上保持不变。然而，这些其他类型的偏微分方程的数值性能仍有待研究。将第4、5和6节中的数值结果放在适当的上下文中也很重要。具有高度非单调或振荡解的偏微分方程可能更具挑战性，需要在体系结构中进一步开发。因此，需要进一步的数值开发和测试，以更好地判断深度学习对于其他应用中偏微分方程解的有用性。

然而，本文的数值结果表明，有充分的证据可以进一步探索解决偏微分方程的深层神经网络方法。此外，对于本文所考虑的拟线性抛物型偏微分方程类以外的偏微分方程，建立类似于定理7.3的结果也很有意义。用于求解偏微分方程的深度学习和机器学习算法的稳定性分析也是一个重要问题。研究使用所涉及偏微分方程更直接的变分公式的机器学习算法肯定会很有趣。我们把这些问题留到以后的工作中去。收敛结果的证明在这一节中，我们收集了第7节理论结果的证明。定理7.1的证明。根据[26]的定理3，我们知道有一个函数f∈ C（ψ）等于uniformly2-在C（R1+d）的压实体上密实。这意味着对于u∈ C1,2（[0，T]×Rd）和 > 0，有f∈ C（ψ）使得sup（t，x）∈OhmT型|tu（t，x）- tf（t，x；θ）|+最大值| a|≤2sup（t，x）∈OhmT型|（a） xu（t，x）- （a） xf（t，x；θ）|< （A.1）我们假设（u，p）7→ ^γ（t，x，u，p）在（u，p）中是局部Lipschitz连续的，Lipschitz常数在u和p中最多可以有多项式增长，与t，x一致。这意味着^γ（t，x，u，p）- ^γ（t，x，v，s）|≤|u | q/2+| p | q/2+| v | q/2+| s | q/2（| u）- v |+| p- s |）。对于某些常量0≤ q、 q，q，q<∞.

因此，我们使用指数为r，r，Z的H¨older不等式OhmT |^γ（T，x，f，xf）- γ（t，x，u，xu）| dν（t，x）≤≤ZOhmT（| f（T，x；θ）| q+|xf（t，x；θ）| q+| u（t，x）| q+|xu（t，x）| q）×|f（t，x；θ）- u（t，x）|+|xf（t，x；θ）- xu（t，x）|dν（t，x）≤ZOhmT（| f（T，x；θ）| q+|xf（t，x；θ）| q+| u（t，x）| q+|xu（t，x）| q）rdν（t，x）1/r×ZOhmT|f（t，x；θ）- u（t，x）|+|xf（t，x；θ）- xu（t，x）|rdν（t，x）1/r≤ KZOhmT（| f（T，x；θ）- u（t，x）| q+|xf（t，x；θ）- xu（t，x）| q+| u（t，x）| q∨q+|xu（t，x）| q∨q） rdν（t，x）1/r×ZOhmT|f（t，x；θ）- u（t，x）|+|xf（t，x；θ）- xu（t，x）|rdν（t，x）1/r≤ Kq+q+supOhmT | u | q∨q+supOhmT型|xu | q∨q（A.2）其中不重要常数K<∞ 可能会在每行和两个数字q之间发生变化∨ q=最大值{q，q}。在最后一步中，我们使用了（A.1）。此外，我们还假设对于每个i，j∈ {1，···d}，映射（u，p）7→αi（t，x，u，p）Pjis局部Lipschitz in（u，p），Lipschitz常数可以在u和p上有最多多项式增长，一致地关于t，x。这意味着αi（t，x，u，p）pj公司-αi（t，x，v，s）sj公司≤|u | q/2+| p | q/2+| v | q/2+| s | q/2（| u）- v |+| p- s |）。对于某些常量0≤ q、 q，q，q<∞.

为方便起见，表示ξ（t，x，u，uu） =dXi，j=1αi（t，x，u（t，x），u（t，x））uxj公司xi，xju（t，x）。然后，类似于（A.2），我们在应用H¨older不等式之后，对于一些常数K<∞ 这可能会随着线的变化而变化，ZOhmTξ（t，x，f，xf，xf）- ξ（t，x，u，徐先生，徐）dν（t，x）≤≤ZOhmTdXi，j=1αi（t，x，f（t，x；θ），f（t，x；θ））fxj公司-αi（t，x，u（t，x），u（t，x））uxj公司xi，xju（t，x）dν（t，x）+ZOhmTdXi，j=1αi（t，x，f（t，x；θ），f（t，x；θ））fxj公司xi，xjf（t，x；θ）- xi，xju（t，x）dν（t，x）≤ KdXi，j=1ZOhmTxi，xju（t，x）2pdν（t，x）1/p××ZOhmTαi（t，x，f（t，x；θ），f（t，x；θ））fxj公司-αi（t，x，u（t，x），u（t，x））uxj公司2qdν（t，x）！1/q++KdXi，j=1ZOhmTαi（t，x，f，f）fxj公司2pdν（t，x）！1/pZOhmTxi，xjf（t，x；θ）- xi，xju（t，x）2qdν（t，x）1/季度≤ KdXi，j=1ZOhmTxi，xju（t，x）2pdν（t，x）1/p××ZOhmT（| f（T，x；θ）- u（t，x）| q+|xf（t，x；θ）- xu（t，x）| q+| u（t，x）| q∨q+|xu（t，x）| q∨q） qrdν（t，x）1/（qr）×ZOhmT|f（t，x；θ）- u（t，x）|+|xf（t，x；θ）- xu（t，x）|qrdν（t，x）1/（qr）+KdXi，j=1ZOhmTαi（t，x，f，f）fxj公司2pdν（t，x）！1/pZOhmTxi，xjf（t，x；θ）- xi，xju（t，x）2qdν（t，x）1/季度≤ K, （A.3）在最后一步中，我们遵循（A.2）中的计算并使用（A.1）。使用（A.1）和（A.2）-（A.3），我们随后获得了目标函数（注意，对于求解PDE的u，G[u]（t，x）=0）J（f）=kG[f]（t，x）kOhmT、 ν+kf（T，x；θ）- g（t，x）kOhmT、 ν+kf（0，x；θ）- u（x）kOhm,ν=千克【f】（t，x）- G[u]（t，x）kOhmT、 ν+kf（T，x；θ）- g（t，x）kOhmT、 ν+kf（0，x；θ）- u（x）kOhm,ν≤ZOhmT型|tu（t，x）- tf（t，x；θ）| dν（t，x）+ZOhmTξ（t，x，f，ff）- ξ（t，x，u，uu）dν（t，x）+ZOhmT |γ（T，x，f，xf）- γ（t，x，u，xu）| dν（t，x）+ZOhmT | f（T，x；θ）- u（t，x）| dν（t，x）++ZOhm|f（0，x；θ）- u（0，x）| dν（t，x）≤ K对于适当的常数K<∞. 最后一步完成了重新缩放后定理的证明.定理7.3的证明。

（7.5）的存在性、正则性和唯一性来源于定理2.1【40】和第V.6章的定理6.3-6.5【28】（另见第V.6章的定理6.6】）。有界性源于【40】中的定理2.1和【28】中的第V.2章。收敛性证明之后是神经网络的光滑性以及紧致性参数，如下所述。让我们首先考虑gn（t，x）=0的问题（7.6），并用^fn（t，x）表示该问题的解决方案。根据条件7.2，【40】中的引理4.1适用，并给出{fn}n∈Nis至少在L中与n一致有界∞0，T；L(Ohm)∩L0，T；W1,2(Ohm)（关于这种均匀能量边界结果，对于γ=0的情况，我们也请读者参考定理2.1和[5]的备注2.14，对于更一般的情况，请参考[34，37]的相关结果）。事实上，^fn比所述的更规则，见[28]第五章第6节，但我们不会在^fnto u的收敛证明中使用这一事实。这些一致能量边界意味着我们可以提取一个子序列，也用{fn}n表示∈N、 在L中收敛到弱意义上的someu∞0，T；L(Ohm)在L中较弱0，T；W1,2(Ohm)对于L中的一些弱v(Ohm)对于每个固定的t∈ （0，T）。接下来让我们设置q=1+dd+4∈ （1，2）注意，对于共轭，r，r>1，使得1/r+1/r=1ZOhmTγ（t，x，^fn，x^fn）qdtdx≤ZOhmT |λ（T，x）| q|x^fn（t，x）| qdtdx≤ZOhmT |λ（T，x）| rqdtdx1/rZOhmT型|x^fn（t，x）| rqdtdx1/r.（A.4）让我们选择r=2/q>1。然后我们计算r=rr-1=2-q

因此，我们得到了rq=d+2。回顾假设λ∈ Ld+2(OhmT） 制服绑在x^fn我们随后得出，对于q=1+dd+4，存在常数C<∞ 这样的话OhmTγ（t，x，^fn，x^fn）qdtdx≤ C、 后一种估计以及条件7.2中关于α（·）的增长假设，意味着{t^fn}n∈Nis在L1+d/（d+4）中关于n一致有界(OhmT） 在L（0，T；W）中-1,2(Ohm)). 考虑共轭1/δ+1/δ=1，δ>max{2，d}。由于嵌入W-1,2(Ohm)  W-1,δ(Ohm), Lq公司(Ohm)  W-1,δ(Ohm), 和L(Ohm)  W-1,δ(Ohm),我们有{t^fn}n∈Nis关于L（0，T；W）中的n一致有界-1,δ(Ohm)). 现在确定空间X=W1,2(Ohm), B=L(Ohm) Y=W-1,δ(Ohm), 注意，X B Y第一次嵌入紧凑。然后，[48]的推论4得到{fn}n的相对紧性∈Nin L公司(OhmT） ，这意味着{fn}n∈在该空间中，nConvergence与u非常接近。因此，直到子序列，{fn}n∈nConverge几乎无处不在OhmT、 α和γ函数相对于梯度的非线性阻止我们直接通过各自弱公式中的极限。然而{fn}n的一致有界性∈NinLσ0，T；W1，σ(Ohm)当σ>1（实际上这里σ=2）且在该空间中弱收敛于u时，允许我们得出结论，如[4]的定理3.3所示^fn→ u几乎无处不在OhmT、 因此，我们得到{fn}n∈n在Lρ中也强收敛到u0，T；W1，ρ(Ohm)对于每ρ<2。准备以n的形式通过限制→ ∞ 在弱公式中，我们需要研究非线性项的行为。

回顾我们对ρ<2和可测集a的α（t，x，u，p）的假设 OhmT（常数K<∞ 可能会因生产线而异）ZAα（t，x，^fn，^fn）ρdtdx≤ KZA |κ（t，x）|ρdtdx+ZA|^fn（t，x）|ρdtdx≤ K“ZA |κ（t，x）|ρdtdx+ZOhmT型|^fn（t，x）| dtdxρ/2 | A | 1-ρ/2#≤ KZA |κ（t，x）|ρdtdx+| A | 1-ρ/2.在后一种显示中，我们使用了指数为2/ρ>1的H¨oder不等式。根据维塔利定理，我们得出α（t，x，^fn，^fn）→ α（t，x，u，u） Lρ中的强(OhmT） 作为n→ ∞, 每1<ρ<2。出于同样的原因，与（A.4）类似的估计给出了γ（t，x，^fn，x^fn）qdtdx≤ KZA |λ（t，x）| d+2dtdx(2-q） /2个≤ K | A |ηd+2+η，通过Vitali定理，意味着γ（t，x，^fn，^fn）→ γ（t，x，u，u） Lq中的强(OhmT） 作为n→ ∞, 对于q=1+dd+4。还要注意的是，通过构造，我们得到了初始条件在L中无法转化为U(Ohm).gn=0的PDE（7.6）弱公式如下所示。每t∈ （0，T）ZOhmth公司-^fntφ+Dα（t，x，^fn，^fn），φE+（γ（t，x，^fn，^fn）- hn）φi（t，x）dxdt+ZOhm^fn（t，x）φ（t，x）dx-ZOhm对于每个φ，un（x）φ（0，x）dx=0∈ C∞(OhmT） 。利用上述收敛结果，我们得出每个t∈ （0，T）方程ZOhmt型[-utφ+hα（t，x，u，u） ，则，φi+γ（t，x，u，u） φ]（t，x）dxdt+ZOhmu（t，x）φ（t，x）dx-ZOhmu（x）φ（0，x）dx=0，这是方程（7.5）的弱公式。fn的收敛性还有待讨论-^fnto零，其中我们记得fn是满足（7.6）和满足（7.6）的神经网络近似值，gn=0。功能fn∈ C1,2（“”OhmT） 和‘OhmTiscompact。我们还假设{fn}在L中一致有界(OhmT） 。这意味着，直到A序列，FN将在L中至少弱收敛(OhmT） 。

此外，在光滑边界处计算的边界值gn（t，x）（这不是fn（t，x）的其他值OhmT） 在（7.6）中，在L中强烈收敛到零。然后，标准结果是gn，即在边界处评估的Fn，至少几乎沿子序列一致地收敛到零，参见[28]第二章中的引理2.1。如下所示，例如，通过证明[28]中第V.6章的定理6.3-6.4-6.5，使用光滑性和唯一性，fn将与PDE（7.6）的解（gn=0，^fn（t，x））的差别可以忽略不计，如n→ ∞ 在几乎无处不在的意义上。{fn}n的假定一致Lbound∈穿着之前被嘲笑的制服(OhmT） 为{fn}n绑定∈尼菲尔德制服L(OhmT） {fn的有界性-^fn}n∈N、 然后，再次通过Vitali\'stheorem，我们得到{fn-^fn}n∈Lρ中的Ngoes强为零(OhmT） 对于每ρ<2。先前导出的{fn的强收敛性-^fn}n∈Nto零（Lρ）(OhmT） 对于每ρ<2，与强L(OhmT） {fn}n的收敛性∈Nto u，总结Lρ收敛性的证明(OhmT） 用三角形不等式求ρ<2。如果{fn（t，x）}是等连续的，那么[17]的引理3.2给出了GN到零的一致收敛性。因此，根据前面的分析，确实{fn}n∈N在Lρ中收敛到u(OhmT） 对于每ρ<2。由于著名的Arzel\'a-Ascoli定理，Lρ收敛到零以及序列{fn（t，x）}的有界性和等连续性导致一致收敛。参考文献[1]S.Asmussen和P.Glynn，《随机模拟：算法与分析》，Springer，2007年。[2] C.贝克，W.E.，A.詹森。高维全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，arXiv:1709.059632017。[3] D.Bertsekas和J。

Tsitsiklis，《通过误差的梯度方法中的梯度收敛》，暹罗优化杂志，第10卷，第3期，pgs。627-642, 2000.[4] L.Boccardo、A.Dall\'Aglio、T.Gallou¨et和L.Orsina，《带被测数据的非线性抛物方程》，泛函分析杂志，第147卷，第237-258页，（1997年）。[5] L.Boccardo、M.M.Porzio和A.Primo，《非线性抛物方程的可和性和存在性结果》，《非线性分析：理论、方法和应用》，第71卷，第304期，第1-15页，2009年。[6] H.Bungartz、A.Heinecke、D.P Fluger和S.Schraufstetter，《采用直接自适应sparsegrid方法的期权定价》，《计算与应用数学杂志》，第236卷，第15期，pgs。3741-3750,2012.[7] H.Bungartz和M Griebel，《稀疏网格》，《数字学报》，第13卷，pgs。174-269, 2004.[8] P.Chandra和Y.Singh，《前馈sigmoidal网络-等连续性和容错特性》，IEEE神经网络学报，第15卷，第6期，第1350-13662004页。[9] P.Chaudhari、A.Oberman、S.Osher、S.Soatto和G.Carlier。深度松弛：优化深度神经网络的部分微分方程，2017年。[10] S.Cerrai，《希尔伯特空间中的平稳Hamilton-Jacobi方程及其在随机最优控制问题中的应用》，《SIAM控制与优化杂志》，第40卷，第3期，pgs。824-852,2001.[11] G.Cybenko，《S形函数叠加近似》，《控制数学》，《信号与系统》，第2卷，第303-3141989页。[12] A.Davie和J.Gaines，《抛物型随机偏微分方程数值格式的收敛性》，《计算数学》，第70卷，第233期，pgs。121-134, 2000.[13] J.Dean、G.Corrado、R.Monga、K.Chen、M.Devin、M.Mao、A.Senior、P.Tucker、K.Yang、Q.Le、andA。Ng。大规模分布式深度网络。在神经信息处理系统的进展中，pp。

1223-1231, 2012.[14] A.Debusche、M.Fuhrman和G.Tessitor，《带边界噪声的随机热方程的最优控制和边界控制》，ESAIM：控制、优化和变分法，第13卷，第1期，pgs。178-205, 2007.[15] W.E.、J.Han和A.Jentzen。高维抛物偏微分方程和倒向随机微分方程的基于深度学习的数值方法，数学与统计通信，Springer，2017。[16] M.Fujii、A.Takahashi和M.Takahashi。高维BSDE深度学习方法中的渐近展开作为先验知识，arXiv:1710.070302017。[17] A.M.Garcia、E.Rodemich、H.Rumsey Jr.和M.Rosenblatt，《一个实变量引理和一些高斯过程的路径连续性》，印第安纳大学数学杂志，第20卷，第6期，第5655781970年12月。[18] X.Glorot和Y.Bengio。了解训练深度前馈神经网络的难度。《第十三届国际艺术情报与统计会议记录》，pp.249-256，2010年。[19] J.盖恩斯。SPDE的数值实验。伦敦数学学会讲座笔记系列，55-711995年。[20] D.Gilbarg和N.S.Trudinger。二阶椭圆偏微分方程，第二版。Springer Verlang，柏林海德堡，1983年。【21】I.Gy–ongy，《由时空白噪声驱动的随机拟线性抛物偏微分方程的晶格近似》，电势分析，第9卷，第1期，pgs。125, 1998.【22】A.Heinecke、S.Schraufstetter和H.Bungartz，《基于adaptivesparse网格的高度并行Black-Scholes解算器》，国际计算机数学杂志，第89卷，第9期，第页。1212-1238, 2012.【23】M.Haugh和L.Kogan，《美式期权定价：对偶方法》，《运筹学》，第52卷，第2期，pgs。258-270, 2004.【24】秒。

Hochreiter和J.Schmidhuber，《长-短期记忆，神经计算》，第9卷，第8期，pgs。1735-1780, 1997.【25】K.Hornik，M.Stinchcombe和H.White，《使用多层前馈网络对未知映射及其导数的通用近似》，神经网络，第3卷，第5期，第551-5601990页。【26】K.Hornik，《多层前馈网络的逼近能力》，神经网络，第4卷，第251-2571991页。[27]D.Kingma和J.Ba，ADAM：随机优化的一种方法。arXiv:1412.69802014。【28】O.A.Ladyzenskaja、V.A.Solonnikov和N.N.Ural\'ceva，《抛物线型线性和准线性方程》（数学专著再版译本），美国数学学会，第23卷，1988年。【29】I.Lagaris、A.Likas和D.Fotiadis，《用于求解普通和偏微分方程的人工神经网络》，IEEE神经网络学报，第9卷，第5期，pgs。987-1000, 1998.【30】I.Lagaris、A.Likas和D.Papageorgiou，《不规则边界边值问题的神经网络方法》，IEEE神经网络交易，第11卷，第5期，pgs。1041-1049, 2000.[31]H.Lee，《求解微分方程的神经算法》，《计算物理杂志》，第91卷，pgs。110-131, 1990.[32]J.Ling、A.Kurzawski和J.Templeton。使用具有嵌入不变性的深层神经网络进行雷诺平均湍流建模。《流体力学杂志》，第807卷，pgs。155-166, 2016.【33】F.Longstaff和E.Schwartz，《通过模拟评估美式期权：简单最小二乘法》，《金融研究评论》，第14卷，pgs。113-147, 2001.[34]M.Magliocca，具有排斥梯度项的Cauchy-Dirichlet抛物问题的存在性结果，非线性分析，第166卷，第102-1432018页[35]a.Malek和R。

Beidokhti，《使用混合神经网络优化方法求解高阶微分方程》，应用数学与计算，第183卷，第1期，pgs。260-271,2006.【36】F.Masiero，《有限维中的HJB方程》，进化方程杂志，第16卷，第4期，pgs。789-824, 2016.[37]R.Di Nardo，F.Feo，O.Guib'e，具有低阶项的非线性抛物型方程的存在性结果，分析。应用程序。（新加坡），第09卷，第02期，第161-1862011页。[38]P.Petersen和F.Voigtlander，《使用深度相关神经网络的分段光滑函数的最佳逼近》，（2017），arXiv:1709.05289v4。【39】A.平库斯。神经网络中MLP模型的近似理论。《数字学报》，第8卷，143195页，1999年。【40】M.M.Porzio，《一些“非强迫”抛物方程解的存在性，离散和连续动力系统》，第5卷，第3期，第553-5681999页。【41】M.Raissi、P.Perdikaris和G.Karniadakis。物理信息深度学习（第一部分）：非线性偏微分方程的数据驱动解决方案，arXiv:1711.105612017。【42】M.Raissi、P.Perdikaris和G.Karniadakis。物理信息深度学习（第二部分）：非线性偏微分方程的数据驱动研究，arXiv:1711.105662017。[43]C.Reisinger和G.Wittum，《高维期权定价问题的有效层次近似》，暹罗科学计算杂志，第29卷，第1期，pgs。440-458, 2007.【44】C.Reisinger，《稀疏网格组合技术中的线性差分格式分析》，IMA数值分析杂志，第33卷，第2期，第页。544-581, 2012.【45】L.C.G.Rogers，《蒙特卡罗美式期权估价》，《数学金融》，第12卷，第3期，pgs。271-286, 2002.[46]K.Rudd，《使用人工神经网络求解偏微分方程》，杜克大学博士论文，2013年。【47】R.Srivastava、K.Greff和J。

Schmidhuber，Training very deep networks，《神经信息处理系统的进展》，第2377-23852015页。【48】J.Simon，《空间中的紧集Lp（0，T；B）》，Annali di Matematica Pura ed Applicata，第146卷，第65-961987页。[49]J.Tompson、K.Schlachter、P.Sprechmann和K.Perlin。使用卷积网络加速欧拉流体模拟，《机器学习研究论文集》，第70卷，pgs。3424-3433, 2017.