连续时间随机梯度下降：一个中心极限定理

2022-6-1 12:52:43

连续时间的随机梯度下降：中心极限定理Justin Sirignano*和Konstantinos Spiliopoulos+§2019年6月18日摘要连续时间随机梯度下降（SGDCT）为科学、工程和金融领域广泛使用的连续s时间模型的统计学习提供了一种计算高效的方法。SGDCT算法hm沿着连续的数据流遵循（有噪）下降方向。参数更新连续发生，并满足随机微分方程。本文通过证明强凸目标函数的中心极限定理（CLT）以及在稍强的条件下非凸目标函数的中心极限定理（CLT），分析了SGDCT算法的渐近收敛速度。在强凸情况下，证明了该算法的lp收敛速度。数学分析是随机分析和统计学习的交叉点。1引言“连续时间随机梯度下降”（SGDCT）是一种用于连续时间模型的统计学习算法，在科学、工程和金融领域都很常见。给定连续数据流，连续时间随机梯度下降（SGDCT）可以估计随机微分方程（SDE）模型中的未知参数或函数。[14] 分析了SGDCT在金融和引擎方面的大量应用的数值性能。我们证明了SGDCT算法的中心极限定理和Lpconvergencerate；请参阅第1.1节了解我们的结果概述。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:52:46

分析中出现了一些技术挑战，我们的方法对于研究其他连续时间统计学习方法（例如，[11]、[15]和[6]）可能更为广泛有用。对于观测时间较长的大型数据集，连续时间模型统计估计的批量优化可能不切实际。批处理优化对整个观测数据路径的模型错误采取一系列描述步骤。由于每个下降步骤针对的是整个观测数据路径的模型误差，批量优化在很长一段时间内很慢（有时不切实际地慢），或者评估模型的计算成本很高（例如，偏微分方程或微分方程的大系统）。SGDCT提供了一种计算效率高的方法，用于长时间的每IOD统计学习和复杂模型的统计学习。SGDCT沿观测路径连续跟踪（噪声）下降方向；这将导致更大的ra pid收敛。参数在连续时间内在线更新，参数更新θt满足随机微分方程。考虑一个分歧Xt∈ X=Rm：dXt=f*（Xt）dt+σdWt。（1.1）功能f*（x）未知，σ是常数矩阵。目标是统计估计f的模型f（x，θ）*（x）从da ta（Xt）t的连续流≥0.重量∈ Rmis a s标准布朗运动和*伊利诺伊大学厄本那-香槟分校工业与系统工程系，Urbana，电子邮件：jasirign@illinois.edu+波士顿大学数学与统计系，波士顿，电子邮件：kspiliop@math.bu.edu部分由美国国家科学基金会（DMS 1550918）资助的K.S.研究§作者感谢普林斯顿大学和科罗拉多大学博尔德分校的研讨会参与者的评论。我们假设σ是已知的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:52:49

差异术语WT表示系统或环境的任何随机行为。函数f（x，θ）和f*（x）可能是非凸的。参数θ的连续随机梯度下降更新∈ Rksaties the SDE:dθt=αtθf（Xt，θt）（σσ)-1文本- θf（Xt，θt）（σσ)-1f（Xt，θt）dt, （1.2）其中θf（Xt；θt）是矩阵值，α是学习率。例如，αtcould equalCαC+t。Weassumeθ是根据具有紧凑支持的某个分布初始化的。参数更新（1.2）既可用于基于先前观测数据的统计估计，也可用于在线学习（即数据可用时的实时统计估计）。定义函数g（x，θ）=kf（x，θ）- f*（x） kσσ=Df（x，θ）- f*（x），则，σσ-1（f（x，θ）- f*（x））E，它测量模型f（x，θ）和真实动力学f之间的距离E*（x）对于一个特定的x，我们假设Xtis是充分遍历的（本文稍后将具体说明），并且它有一些行为良好的π（dx）作为其唯一不变度量。作为一般符号，如果h（x，θ）是一个一般的L（π）函数，那么我们将其在π（dx）上的平均值定义为“h（θ）=ZXh（x，θ）π（dx）。特别是，\'g（θ）=RXg（x，θ）π（dx）是我们分析算法的交感行为时需要考虑的自然目标函数θt。\'g（θ）是f（x，θ）和f之间距离的加权平均值*（x）。权重由π（dx）给出，这是随着t变大，x趋于的分布。通过在下降方向上移动θ，距离g（x，θ）减小-θg（x，θ），这激发了算法dθt=-αtθg（Xt，θt）dt=αtθf（Xt，θt）（σσ)-1.f*（Xt）- f（Xt，θt）dt。（1.3）f*（x）未知，因此（1.3）无法在实践中实现。然而，dXt=f*（Xt）dt+σdWtis f的方差估计*（Xt）dt，可用于推导SGDCT算法（1.2）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:52:52

特别是，很容易看出SGDCT算法（1.2）是下降方向（1.3）加上噪声项：dθt=αtθf（Xt，θt）（σσ)-1文本- θf（Xt，θt）（σσ)-1f（Xt，θt）dt= αtθf（Xt，θt）（σσ)-1.f*（Xt）-f（Xt，θt）dt+αtθf（Xt，θt）（σσ)-1σdWt=-αtθg（Xt，θt）dt+αtθf（Xt，θt）（σσ)-1σdWt。（1.4）下降方向-αt方程（1.4）中的θf（Xt，θt）取决于Xt，因此如果θt朝着固定点前进，则上述公式中的r是不明确的。为了理解θt的行为，将（1.4）分解为几个项是有帮助的：dθt=-αtθ′g（θt）dt |{z}下降项-αtθg（Xt，θt）-θ′g（θt）dt{z}涨落项+αtθf（Xt，θt）（σσ)-1σdWt |{z}噪声项。（1.5）启发式地，如果αt随时间衰减（例如，αt=CαC+t），则下降项-αtθ′g（θt）将主导大t的波动和噪声项。然后，人们可能会发现θtwill收敛到局部最小值g（θ）。作者在[14]中证明了θt收敛到目标函数'g（θ）：k的临界点\'g（θt）ka。s→ 0作为t→ ∞. （1.6）然而，[14]留下了一个关于θtsatis是否存在任何渐近收敛率的问题。在本文中，我们证明了一个中心极限定理和一个lp收敛速度，这将在本导言的下一小节中介绍。1.1本文的贡献当g（θ）有一个临界点θ时，我们证明了θtw的中心极限定理*:√t型θt- θ*d→ N（0，‘∑）作为t→ ∞. （1.7）对于目标函数'g（θ）（可能是非凸的）和模型f（x；θ）（θ为线性增长，x为多项式增长）证明了该结果；见定理2.13。此外，当'g（θ）为强凸时，我们给出了一个lp收敛速度：Ekθt- θ*kp公司≤K（C+t）p/2，（1.8）对于p≥ 我们证明了模型f（x，θ）的这个结果，其中θ为二次增长，inx为多项式增长。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:52:55

此外，在这种强凸情况下，我们证明了中心极限定理也适用于θ为二次增长且x为多项式增长的模型f（x，θ）。强凸x情况下的lp收敛速度和CLT分别在定理2.7和2.8中陈述。定理2.7和2.8没有利用[14]中的结果。作为定理2.13证明的一部分，我们还加强了[14]的c-onvergenc-e结果，它不允许f（x，θ）在θ中增长；见定理2.11。定理2.7，2。8和2.13证明了学习率αt=CαC+t。理论2.7、2.8和2.13的类似结果当然适用于一般类别的学习率αt；见第2.14条。第2节介绍了数学结果的精度陈述和所需的技术假设。此外，作为推论，我们的结果证明了在Xt不依赖的情况下，LPT收敛速度和CLT。也就是说，如果θ*是函数g（θ）的唯一临界点，dθt=αt- g（θt）dt+dWt, （1.9）然后θta。s→ θ*和√t型θt- θ*d→ N（0，‘∑）作为t→ ∞. 此外，如果g（θ）是强凸的，则kθt- θ*kp公司≤K（C+t）p/2。这些数学结果之所以重要，有两个原因。首先，他们为算法的收敛速度建立了理论保证。其次，它们可用于分析不同特征的影响，如学习率αt、噪声水平σ和目标函数g（θ）的形状。我们能够精确地描述存在最优收敛速度的区域，以及描述极限协方差∑。该制度完全取决于学习率的选择。由于XT过程的性质，证明中心极限定理具有挑战性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2022-6-1 12:52:58

数据XT将随时间进行关联，这与随机梯度下降的标准离散时间版本不同，在该版本中，数据通常被视为每一步的i.i.d。特别是，函数项αtθg（Xt，θt）- θ′g（θt）必须分析dt，并在某种适当的意义上显示其变小。我们使用泊松偏微分方程评估和控制这些波动率αt。虽然可以启发性地看到，对于大t，下降项在方程（1.5）中的波动和噪声项中占主导地位，但下降项αtθ′g（θt）→ 0作为t→ ∞ s公司限制→∞αt=0。因此，如果渐近αtθ′g（θt）将保持足够大，以保证θt的渐近收敛速度[14]证明了c收敛结果kθ′g（θt）ka。s→ 0使用停止时间周期捕获whenkθ′g（θt）k大或小。然而，这种方法对于证明CLT是无用的。相反，我们推导出一个近似积分来表示√t（θt- θ*) 利用Duhamel原理和随机微分方程dψt=-αtθ′g（|θt）ψtdt，其中|θt位于连接θ的线上*和θt。此随机积分的被积函数包括函数项、噪声项以及ψt。本文中的证明还需要解决其他几个挑战。模型f（x，θ）允许随θ增长。这意味着函数以及其他项可以随θ增长。因此，我们必须证明kθtk的先验稳定性估计。在Orem 2.13中证明非凸的¨g（θ）的中心极限定理并不简单，因为θtca的收敛速度在某些区域会变得任意缓慢，梯度甚至可能指向远离全局最小值θ的地方*.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:01

为了解决这个问题，我们考虑了时间τδ之后的随机积分，该时间τδ被定义为最终时间θ在θ的邻域内*.然而，τδ不是停止时间，因此需要仔细分析以研究随机积分的极限行为。我们在本文中开发的方法可能是研究其他连续时间统计学习方法（例如，[11]、[15]和[6]）的渐近性的通用方法。1.2文献综述绝大多数统计学习、机器学习和随机梯度下降文献都涉及离散时间算法。对比分析了一种连续时间的统计学习算法。我们回顾了与我们的工作最相关的现有文献。我们还评论了开发和分析连续时间算法以处理连续时间模型的重要性。许多学术论文研究了θn的算法，而不考虑X动力学（例如，每一步都带有i.i.d.噪声的随机梯度下降）。X-dynamics的加入使得分析更具挑战性。文[2]给出了离散时间随机梯度下降的收敛速度和中心极限定理结果。我们的设置和假设与[2]不同。我们的证明方法不同于[2]中的方法，并利用了我们设置的连续时间性质，这是对许多工程和金融问题的兴趣公式（见[14]）。[17] 研究了随机梯度搜索算法的连续时间版本的收敛性。他们改进了过程的收敛性，并给出了时间平均过程的中心极限定理。我们的论文与[17]之间存在一些差异。我们的论文包括X动力学，这在文献[17]中没有考虑。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:04

[17] 证明了时间平均过程的中心极限定理，同时研究了过程本身的中心极限定理。此外，我们的假设是不同的。[13] 研究了连续时间随机梯度下降算法的收敛性。然而，[13]不包括X-dynamics。[13] 本文证明了一个中心极限定理和一个收敛速度。[11] 在与我们不同的环境中研究连续时间随机镜像下降。在[11]的框架中，目标函数是已知的。本文考虑随机过程（即满足（1.1）的X过程）未知动力学的统计估计。统计学家和金融工程师积极研究了SDE的参数估计，尽管通常不使用统计学习或机器学习方法。似然函数通常从X的整个观测路径（即批量优化）计算出来，然后最大化以找到最大似然估计量（MLE）。例如，[1]为连续观察到的X的整个病理过程建立了似然函数。与本论文不同的是，通常不分析最大化似然函数的实际优化过程。读者可以参考[3、8、12]对随机微分方程的经典统计推断方法进行粗略回顾。连续时间模型在工程和金融领域很常见。在这些模型中，经常存在不确定或未知的系数或函数；随机梯度下降可以用来从数据中学习这些模型参数。人们自然会问，为什么要使用SGDCT，而不是（1）离散连续时间动力学，然后（2）应用传统随机梯度下降的简单方法。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-1 12:53:07

我们在[14]中详细阐述了这一问题，其中提供了具体示例来展示差异。为了完整起见，让我们简要地讨论出现的问题。SGDCT允许将所选数值格式应用于连续时间模型的理论正确的统计学习方程。这可以导致更准确、更高效的参数更新。数值格式始终适用于连续时间动力学，不同的数值格式对于不同的连续时间模型可能具有不同的特性。先验地对系统动力学进行离散化，然后应用传统的离散时间随机梯度下降方案，可能会导致精度降低，甚至可能不会收敛，参见【14】。例如，无法保证（1）使用更高阶的r ac c urate方案来离散系统动力学，然后（2）应用传统的随机梯度下降将产生时间上更高阶精度的统计学习方案。因此，首先建立连续时间统计学习方程，然后应用高阶精度数值格式是有意义的。除模型估计外，SGDCT还可用于解决连续时间优化问题，如美式期权。在【14】中，SGDCT与dee神经网络相结合，以解决多达100个维度的美国选项。或者，可以将动力学离散化，然后使用QLearn算法（传统的随机梯度下降应用于离散HJBequation的近似值）。然而，正如我们在【14】中所示，Q-le学习是有偏的，而SGDCT是无偏的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:10

此外，对于具有布朗运动的inSDE模型，Q学习算法可以随着时间步长的增大而膨胀变小；详见【14】。1.3文件的组织在第2节中，我们陈述了我们的假设和本文的主要结果。p的Lpconvergencerate的proo f≥ 1在第3节中。强凸情形下CLT的证明见第4节。第5节证明了一类非凸模型的中心极限定理。在第6节中，收敛速率结果用于分析连续时间算法中随机梯度下降的行为和动力学。证明所需的一些技术结果见附录A。附录B包含定理2.11的证明，这加强了[14]的收敛结果。特别是在r中，附录B对[14]的证明进行了必要的调整，以确保在允许模型f（x，θ）相对于θ增长的情况下收敛。2主要结果我们证明了三个主要结果。定理2.7是强凸情形下的Lpconvergence。定理2.8是强凸情形的中心极限定理。定理m 2.13是单临界点非凸情形的中心极限定理。如果存在一个C>0的函数，使得zh（θ）z≥ Cz公司z表示任何非零z∈ Rk。h是函数h（θ）的Hessia n矩阵。条件2.6和2.12要求CCα>1，其中Cα是学习率的大小，C是目标函数“g”（θ）的强凸性常数*) 在点θ=θ处*. 这是本文收敛分析的一个重要结论：为了获得最佳的收敛速度，需要充分提高学习速度。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:13

这种收敛率对学习率的依赖性并不特定于本文中的算法SGDCT，但也适用于其他算法（甚至是确定性梯度下降算法）。我们将在第6节对此进行更详细的讨论。应该强调的是，定理2.7和定理2.8（强对流）的假设允许模型f（x，θ）增长到θ的二次方。另一方面，在假设f（x，θ）在θ中线性增长的情况下，证明了定理2.13（非凸情形）。对于定理2.7、2.8和2，允许模型f（x，θ）的增长在x中为多项式。定理2.7、2.8和2.13的证明分别在第3、4和5节。附录A中给出了这些证明需要d的一些技术结果。附录B包含了一些变化，将[14]的收敛性证明从g（θ）有界的情况推广到g（θ）在θ中的平方；有关相应的严格声明，请参见定理2.11。现在让我们列出我们的条件。条件2.1保证了X过程不变测度的唯一性和存在性。条件2.1和条件2.2的第二部分保证方程（1.1）是适定的。我们将使用符号k·k表示向量和矩阵的欧几里德范数。k·k表示l-norm和k·kP表示lp-标准。条件2.1。我们假设σσ是非退化常微分矩阵和lim | x|→∞f*（x） ·x个=-∞.关于所涉及函数的正则性，我们施加以下条件2.2。条件2.2。1、我们假设θg（x，·）∈ 所有x的C（Rk）∈ 十、 Rm，θgx个∈ C十、 Rk公司, θg（·，θ）∈Cα（X）在θ中均匀分布∈ Rk对于某些α∈ (0, 1).2、功能f*（x）是C2+α（x）和α∈ (0, 1).

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:16

也就是说，它在x上有两个导数，所有部分导数都是H¨older连续的，指数α，w相对于x.3。每t≥ 0，方程（1.2）有唯一的强解。施加条件2.3和2.4，以确保θthas有界力矩在时间t内一致。条件2.3。存在常数R<∞ 几乎处处都是正函数κ（x）s uch thath-θg（x，θ），θ/kθki≤ -κ（x）kθk，对于kθk≥ R、条件2.4。考虑函数τ（x，θ）=θf（x，θ）θf（x，θ）θkθk，θkθk1/2. （2.1）然后，存在一个函数λ（x），在kxk中增长不快于多项式，因此对于任何θ，θ∈ RK和x∈ Rm |τ（x，θ）- τ（x，θ）|≤ |λ（x）|ρ（kθ- θk）（2.2），其中ρ（ξ）是[0]上的增函数，∞) ρ（0）=0且rξ>0ρ-2（ξ）dξ=∞.注意，当θ为一维时，条件2.4相当简单。条件2.4始终适用于以下情况：θf（x，θ）与θ无关（例如，当f（x，θ）是θ中的一个函数时）。此外，如果f（x，θ）和θf（x，θ）在θ中一致有界，在x中多项式有界，条件ns2.3和2。在非凸情况下，CLT不需要4（定理2.13）。有必要使用条件2.3和2.4证明支持≥0E[kθtkp]<k表示p≥ 2、我们在附录e ndix A.1中证明的这种矩的统一性，反过来又需要用于证明定理2.7和2.8中的Lpconvergenceand中心极限定理。函数g（x，θ）允许增长，这意味着θ的矩有一些先验界是必要的。关于学习率，我们假设条件2.5。学习速率为αt=CαC+t，其中Cα>0和C>0为常数。条件2.5使结果更容易呈现。然而，正如我们将在推论2.14中看到的，只要αtsatis满足一定的条件，那么特定形式αt=cαc+是不必要的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:19

我们选择在本规范下为m呈现结果，既是为了呈现目的，也是因为这是学习率在实践中的常见形式。然而，我们确实在Cor ollary2.14中发送了一般学习率的结果。条件2.6。1.iθf（x，θ）≤ K1+kxkq+kθk（2-（一）∨0, 对于i=0、1、2、3和某些有限常数，q<∞.2.’g（θ）是常数C.3的强凸。CCα>1.4。\'g（θ）∈ 加拿大iθ′g（θ）≤ K1+kθk4-我, 对于i=0、1、2、3和某些有限常数K<∞.从定理2.7和2的证明中可以看出。8，需要控制formRtαs的项(\'g（θs）- g（Xs，θs））ds。由于X过程的遍历性，没人会认为这样的项在数量上很小，并且随着t的增加而变为零→ ∞. 然而，它们归零的速度在这里很重要。我们通过使用适当的泊松型偏微分方程（PDE）等效重写这些项来处理这些项。条件2.1、2.2和2.6保证这些泊松方程具有唯一解，其在x和θ变量s中的增长速度不超过多项式（见附录A中的定理A.1）。定理2.7。假设条件2.1、2.2、2.3、2.4、2.5和2.6成立。那么，对于p≥ 1，存在常数0<K<∞ 这样e[kθt- θ*kp]≤K（C+t）p/2。为了说明中心极限定理的结果，我们需要引入一些符号。让我们用v（x，θ）表示泊松方程（A.5）的解，其中H（x，θ）=θg（x，θ）- θ′g（θ）。让我们also seth（x，θ）=θf（x，θ）（σσ)-1.-xv（x，θ）σσθf（x，θ）（σσ)-1.-xv（x，θ）和'h（θ）=Zh（x，θ）π（dx）。定理2.8。假设条件2.1、2.2、2.3、2.4、2.5和2.6成立。然后√t（θt- θ*)d→ N（0，‘∑），其中‘∑定义为‘∑=CαZ∞e-s（Cα）\'g（θ*)-一） \'h（θ*)e-s（Cα((R)g）(θ*)-一） ds。当然，我们的结果立即暗示了当Xt上存在节点依赖性时的lp收敛速度和CLT。推论2.9。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

能者818

2022-6-1 12:53:22

假设θ*是函数g（θ）的唯一临界点，且dθt=αt- g（θt）dt+dWt. （2.3）具有独特的强大解决方案。此外，我们假设条件2.2.1、2.3（g（θ）代替g（x，θ））、2.5和2.6.2-2.6.4（g（θ）代替g（θ））成立。然后，θtsatis表示Lpconvergence rate[kθt- θ*kp]≤K（C+t）p/2。和CLT√t（θt- θ*)d→ N（0，‘∑），其中‘∑=CαZ∞e-s（Cα）g（θ*)-一） e类-s（Cα(g）(θ*)-一） ds。[14]的主要结果表明，如果g（θ）及其导数与θ相关，则在X过程遍历性的假设下，在Limt→∞kθ′g（θt）k=0。在本文中，我们允许g（θ）相对于kθk的增长。特别是，正如我们在定理2.11中陈述并在附录B中证明的那样，如果允许f（x，θ）相对于θ的线性增长，则[14]的结果是正确的，而无需大量额外工作，这转化为g（θ）的二次增长和\'g（θ）相对于θ。让我们以条件2的形式将所需的假设形式化。这也加强了条件2.6。条件2.10。1.iθf（x，θ）≤ K1+kxkq+kθk（1-（一）∨0, 对于i=0、1、2和某些有限常数，q<∞.2.iθ′g（θ）≤ K1+kθk2-我, 对于i=0、1、2和某些有限常数K<∞.3.\'g（θ）是全局Lipschitz。定理2.11。假设条件2.1、2.2、2.3、2.4、2.5和2.10成立。那么，limt→∞kθ'g（θt）k=0，a.s.定理2.11证明了即使f（x，θ）在θ中线性增长最多，非凸'g（θ）的收敛性。附录B中证明了定理2.11。该证明基于附录A中建立的θ矩的统一界限。证明非凸'g（θ）的中心极限定理需要定理2.11。非凸g（θ）的中心极限定理在定理2.13中得到证明。条件2.12。1.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:25

\'g（θ）可以是非凸的，但有一个临界点θ*.2、存在δ*> 0足够小，使得'g（θ）在区域kθ中是强凸的- θ*k<δ*常数C和CCα>1.3。\'g（θ）∈ C、 4。如果θi，θi'g（θ）>0- θ*i> 兰德公司如果θi，θi'g（θ）<0- θ*i<-Rfor i=1，2，对我来说，足够大了。条件2.12中的第四部分保证θi'g（θ）始终向内指向全局最小θ*如果θi等于ge。定理2.13。假设条件2.1、2.2、2.3、2.4、2.5、2.10和2.12成立。那么，我们有了√t（θt- θ*)d→ N（0，∑），其中∑的定义如定理2.8所示。如果f（x，θ）和θf（x，θ）在θ上一致有界，在x上多项式有界，定理2.13在没有条件2.3和2.4的情况下成立。命题2.14表明，在学习率αt的特定条件下，条件2.5中假设的学习率的特定形式是不必要的。特别是，可以证明一般学习率αt的收敛速度和中心极限定理结果。命题2.14的证明遵循与Theo rems 2.7、2.8和2.13的证明完全相同的步骤，尽管更繁琐的代数，但省略了。提案2.14。让我们表示ψ（p）t，s=e-pCRtsαρdρ，对于p≥ 1考虑矩阵值解Φ*t、 sto方程式（4.1）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:28

定理2.7、2.8和2.13在满足条件Z的一般学习率αt下也成立∞αtdt=∞,Z∞αtdt<∞,Z∞|α′s | ds<∞, p>0，以便限制→∞αttp=0，p≥ 2Ztαs+|α′s|ψ（p）t，sαp/2-1sds≤ O（αp/2t），和ztαsψ（1）t，sds≤ o（α1/2t）Ztα5/2sψ（2）t，十二烷基硫酸钠≤ o（αt），ZtαsΦ*t、 sds=O（αt），p≥ 2ψ（p）t，0≤ O（αp/2t）和ψ（1）t，0≤ o（α1/2t）。特别地，定理2.7、2.8和2.13的陈述采用[kθt]的形式- θ*kp]≤ Kαp/2t和α-1/2t（θt- θ*)d→ N（0，‘∑），其中现在‘∑=“∑i，jki，j=1如（4.9）所示，但带有括号termhCα（λm+λm′）Cα-1替换为限制→∞α-1tZtαse-（λm+λm′）Rtsαududs.很容易检查，如果我们使用αs=CαC+sas作为学习率，那么如果CCα>1，则出现在位置2.14中的条件都成立。我们在结束本节时提到，在后续章节中出现的界限中，0<K<∞表示不重要的固定常数（不依赖于t或其他重要参数）。常数K可能会从一行到另一行发生变化，但它总是由相同的符号K表示。在不丧失一般性的情况下，为了简化证明中的符号，我们将让C=0，考虑t≥ 1（即，初始时间设置为t=1），并设σ为单位矩阵。3定理2.7-强凸情形下的lp收敛速度本文的证明将重复使用两个重要的一致矩界。首先，正如我们在附录A.1中所证明的，对于p≥ 2，那就对了≥0E【kθtkp】<k，第二，从【9】可知，在X过程的施加条件下，对于p≥ 2，支持≥0E【kXtkp】<K。要开始证明lp收敛速度，请重新编写算法（1.2）中的θtin项\'g（θ）。dθt=αtθf（Xt，θt）（dXt- f（Xt，θt）dt）=αtθf（Xt，θt）（f*（十）- f（Xt，θt））dt+αtθf（Xt，θt）dWt=-αtθg（Xt，θt）dt+αtθf（Xt，θt）dWt=-αtθ′g（θt）+αtθ′g（θt）- θg（Xt，θt）dt+αtθf（Xt，θt）dWt。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:31

（3.1）泰勒展开式得出：θ′g（θt）=θ′g（θ*) + \'g（θt）（θt- θ*) = \'g（θt）（θt- θ*),其中θ是连接θ和θ的段中的一个适当选择点*. 将该泰勒展开代入方程（3.1），得到方程：d（θt- θ*) = -αt\'g（θt）（θt- θ*)dt+αt(θ′g（θt）- θg（Xt，θt））dt+αtθf（Xt，θt）dWt。设Yt=θt- θ*. 然后，Y满足SDEdYt=-αt\'g（θt）Ytdt+αt(θ′g（θt）- θg（Xt，θt））dt+αtθf（Xt，θt）dWt。根据It^o公式，我们得到p≥ 2d kYtkp=p kYtkp-2Xi，kYktαt(θf（Xt，θt））k，idWit- pαtkYtkp-2.年初至今，\'g（θt）Ytdt+pαtkYtkp-2hYt，θ′g（θt）-θg（Xt，θt）idt+pαtkYtkp-2.Xi，k(θf（Xt，θt））i，k+ （p- 2） XiXkkYtk公司-1Ykt(θf（Xt，θt））k，i！dt。（3.2）利用g的强凸性，我们得到了不等式D kYtkp≤ p kYtkp-2Xi，kYktαt(θf（Xt，θt））k，idWit- pCαtkYtkpdt+pαtkYtkp-2hYt，θ′g（θt）- θg（Xt，θt）idt+pαtkYtkp-2.Xi，k(θf（Xt，θt））i，k+ （p- 2） XiXkkYtk公司-1Ykt(θf（Xt，θt））k，i！dt。现在我们来定义过程mt=pZte-PCRTαρdραskYskp-2Xi，kYks(θf（Xs，θs））k，idWis，注意Mtsolves the SDEdMt=-pCαtMtdt+p kYtkp-2Xi，kYkt(θf（Xt，θt））k，idWit。接下来，如果我们设置Γt=kYtkp- Mtwe获得that dΓt≤ -pCαtΓtdt+pαtkYtkp-2hYt，θ′g（θt）- θg（Xt，θt）idt+pαtkYtkp-2.Xi，k(θf（Xt，θt））i，k+ （p- 2） XiXkkYtk公司-1Ykt(θf（Xt，θt））k，i！dt。接下来，我们定义函数ψ（p）t，s=e-PCRTαρdρ=st公司pCCα，比较原理给出≤ ψ（p）t，1kYkp+pZthαsψ（p）t，skYskp-2hYs，θ′g（θs）-θg（Xs，θs）iids+pZtψ（p）t，sαskYskp-2.Xi，k(θf（Xs，θs））i，k+ （p- 2） XiXkkYsk公司-1Yks(θf（Xs，θs））k，i！ds=Γt+Γt+Γt.（3.3）下一步是重写（3.3）的第二项，即Γt=pRthαsψ（p）t，skYskp-2hYs，θ′g（θs）- θg（Xs，θs）iids。我们构造了相应的泊松方程，并使用其解来分析Γt。定义G（x，θ）=hθ- θ*, θ′g（θ）- θg（x，θ）i，设v（x，θ）为偏微分方程Lxv（x，θ）=g（x，θ）的解。此处，LX位于X流程的微型发电机内。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:34

根据定理A.1，泊松偏微分方程解的状态为：kv（x，θ）k+kxv（x，θ）k≤ K（1+Kθkm）（1+kxkm），Xi=1,2（四）θi（x，θ）+vx个θ（x，θ）+vx个θ（x，θ）≤ K（1+Kθkm）（1+kxkm）（3.4）对于适当的，但对于我们的目的不重要的常数m，m，m，m。根据It^o的公式：v（Xt，θt）- v（Xs，θs）=ZtsLxv（Xu，θu）du+ZtsLθv（Xu，θu）du+Ztsxv（Xu，θu）dWu+Ztsαuθv（Xu，θu）θf（Xu，θu）dWu+Ztsαuθxv（Xu，θu）θf（Xu，θu）du，其中Lθ是θt过程的最小生成器，lx是Xtprocess的最小生成器。确定vt≡ v（Xt，θt），并认识到：G（Xt，θt）dt=Lxv（Xt，θt）dt=dvt- Lθv（Xt，θt）dt- xv（Xt，θt）dWt- αtθv（Xt，θt）θf（Xt，θt）dWt- αtθxv（Xt，θt）θf（Xt，θt）dt。（3.5）使用该结果，可以将Γtca重写为：Γt=Zthαsψ（p）t，skYskp-2hYs，θ′g（θs）- θg（Xs，θs）iids=Ztαsψ（p）t，skYskp-2dvs-Ztαsψ（p）t，skYskp-2.xv（Xs，θs）dWs-Ztαsψ（p）t，skYskp-2Lθv（Xs，θs）ds-Ztαsψ（p）t，skYskp-2.θv（Xs，θs）θf（Xs，θs）dWs-Ztαsψ（p）t，skYskp-2.θxv（Xs，θs）θf（Xs，θs）ds=Γ2,1t+Γ2,2t+Γ2,3t+Γ2,4t+Γ2,5t。（3.6）让我们首先重写第一个术语Γ2,1t。我们将It^o公式应用于αsψ（p）t，skYskp-2vs：αtψ（p）t，tkYtkp-2vt- αψ（p）t，1kYkp-2v=Ztαsψ（p）t，skYskp-2dvs-ZtCαsψ（p）t，skYskp-2vsds+Ztαsψ（p）t，sskYskp公司-2vsds+Ztαsψ（p）t，svsd kYskp-2+Ztαsψ（p）t，sdhkYskp-2，vsi。然后，我们有以下表示形式，表示Γ2,1t：Γ2,1t=Ztαsψ（p）t，skYskp-2dvs=αtψ（p）t，tkYtkp-2vt- αψ（p）t，1kYkp-2v+ZtCαsψ（p）t，skYskp-2VSD-Ztαsψ（p）t，sskYskp公司-2VSD-Ztαsψ（p）t，svsd kYskp-2.-Ztαsψ（p）t，sdhkYskp-2，vsi=αtψ（p）t，tkYtkp-2vt- αψ（p）t，1kYkp-2v+C-1αZtαsψ（p）t，skYskp-2VSD- pCZtαsψ（p）t，skYskp-2VSD-Ztαsψ（p）t，svsd kYskp-2.-Ztαsψ（p）t，sdhkYskp-2，vsi。（3.7）现在，我们已经准备好把事情放在一起了。方程（3.2）和p-然后用2代替p来计算（3.7）的倒数第二项，类似地，二次协变量项dhkYskp-（3.7）最后一项的vsiof。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

能者818

2022-6-1 12:53:38

在（3.6）和（3.3）中插入（3.7），我们得到了一个不重要的常数K<∞足够大，一个矩阵值函数ζ（x，θ），在x和θ中以most多项式形式增长，使得Γt≤ ψ（p）t，1kYkp+αtψ（p）t，tkYtkp-2vt- αψ（p）t，1kYkp-2v+KZtαsψ（p）t，skYskp-2ζ（Xs，θs）ds+^Mt，（3.8），其中^Mt是平均Zero和平方可积（这源自X和θ过程上的一致矩Bounds）布朗稳定积分。现在回想一下，我们想要评估E kYtkp。回顾（3.8）中对Γ的定义和期望，我们获得了kYtkp≤ Ehψ（p）t，1kYkp+αtkYtkp-2vt- αψ（p）t，1kYkp-2vi+KEZtαsψ（p）t，skYskp-2ζ（Xs，θs）ds。回顾ψ（p）t，1=t-pCCα和CCa>1，我们得到ψ（p）t，1≤ t型-p、因此，我们得到了对于任何p≥ 2以下不等式适用于kYtkp≤ 千吨级-p+EhαtkYtkp-2vti+KEZtαsψ（p）t，skYskp-2ζ（Xs，θs）ds。（3.9）下一步是进行诱导。利用X和θ的统一矩界以及v（X，θ）和ζ（X，θ）的多项式增长，我们得到了p=2E kYtk≤ 千吨级-2+E[αtvt]+KEZtαsψ（2）t，sζ（Xs，θs）ds≤ Kt型-2+t-1+t-2CCαZts2CCα-2秒≤ 千吨级-1，其中不重要的常数K可能会随着行的变化而变化。因此，对于p=2，所需的语句为true。接下来，我们假设指数p为真-我们想证明这对于指数p是正确的。使用指数r，r>1的H¨older不等式，使1/r+1/r=1，并选择r=p-1便士-2> 1，EhαtkYtkp-2vti≤ αtE kYtkp-1.1/r（E | vt | r）1/r≤ 千吨级-1吨-p-2=千吨-p/2，如图所示Ztαsψ（p）t，skYskp-2ζ（Xs，θs）ds≤Ztαsψ（p）t，sE kYsk（p-2） r1/r（E kζ（Xs，θs）kr）1/rds≤ KZtαsψ（p）t，sE kYsk（p-2） r1/rds≤ KZtαsψ（p）t，ss（p-2） /2秒≤ 千吨级-pCCαZtspCCα-1.-pds≤ Kt型-p/2- t型-pCCα≤ 千吨级-第2页。将两个显示器放在一起，（3.9）给出kYtkp≤ 千吨级-p/2，这是关于整数p的定理2.7的陈述≥ 2、任何p的声明≥ 然后，从H–older ine quality开始。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:43

定理的证明到此结束。4强凸情形下中心极限定理的证明为了证明中心极限定理，我们使用二阶泰勒展开式：θ′g（θt）=θ′g（θ*) + \'g（θ*)（θt- θ*) +\'\'gθ（θt）（θt- θ*)（θt- θ*),其中θ是在连接θttoθ的线段中选择的适当点*. 上述方程RHS的最后一项是张量矩阵积。然后，θt的演化如下：d（θt- θ*) = -αt\'g（θ*)（θt- θ*)dt公司-αt\'\'gθ（θt）（θt- θ*)（θt- θ*)dt+αt(θ′g（θt）- θg（Xt，θt））dt+αtθf（Xt，θt）dWt。设Yt=θt- θ*. 然后，Y满足SDEdYt=-αt\'g（θ*t）年初至今-αt\'\'gθ（θt）YtYtdt+αt(θ′g（θt）- θg（Xt，θt））dt+αtθf（Xt，θt）dWt。LetΦ*t、 s∈ Rk×kbe满足dΦ的基本解*t、 s=-αt\'g（θ*)Φ*t、 sdt，Φ*s、 s=I，（4.1），其中I是单位矩阵。如第3节所述，我们在不损失一般性的情况下设置C=0，并假设初始时间为t=1。那么，yt可以用Φ来表示*t、 s:Yt=Φ*t、 1年-ZtΦ*t、 sαs\'\'gθ（θs）YsYsds+ZtΦ*t、 sαs(θ′g（θs）-θg（Xs，θs））ds+ZtΦ*t、 sαsθf（Xs，θs）dWs=Γt+Γt+Γt+Γt.（4.2）接下来，Φ的收敛速率*t、 s必须在矩阵范数kAk=qPi，jAi，j中建立。考虑变量τ（t）=s+Rtsαudu的变化和|ΜΦ*τ、 svia￠Φ*τ、 s=Φ*t、对于αt=Cαt，我们有τ（t）=s+Cα（log（t）- 日志（s））。执行变量的此更改，dΦ*τ、 s=-\'g（θ*)~Φ*τ、 sdτ，￠Φ*s、 s=I，（4.3）表示τ≥ s、定义Φ*,jτ，sas￠Φ的第j列*τ、沙土\'g（θ*)ias矩阵的第i行\'g（θ*). 考虑一维微分方程：ddτ~Φ*,jτ，s=ddτ~Φ*,j、 1τ，s+ ··· +~Φ*,j、 kτ，s= -2.~Φ*,j、 1τ，s\'g（θ*)~Φ*,jτ，s+··+￠Φ*,j、 kτ，s\'g（θ*)k￠Φ*,jτ，s= -2.~Φ*,jτ，s\'g（θ*)~Φ*,jτ，s≤ - 2C~Φ*,jτ，s~Φ*,jτ，s=-2C~Φ*,jτ，s,这里我们使用了强凸性假设。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-1 12:53:46

这当然会产生收敛速度：~Φ*τ、 s≤ Ke公司-2C（τ-s）。再次更改变量会产生原始时间坐标t中的收敛速度：Φ*t、 s=~Φ*τ、 s≤ Ke公司-2C（τ-s）≤ Ke公司-2CRtsαudu=Kt-2CCαs2CCα。（4.4）我们回顾了Φ的一些重要性质*t、 s（参考文献[5]中的s e e提案2.14）。Φ*t、具有半群性质Φ的sis微分*t、 1=Φ*t、 sΦ*s、 1。此外，Φ*t、 sis可逆，带逆Φ*,-1t，s=Φ*s、 t.因此，sΦ*t、 s=sΦ*t、 1Φ*,-1秒，1= Φ*t、 1个sΦ*,-1s，1=Φ*t、 1Φ*,-1秒，1Φ*s、 1个sΦ*,-1s，1=-Φ*t、 sαs\'g（θ*)Φ*s、 1个Φ*,-1s，1=-αsΦ*t、 s\'g（θ*). （4.5）结合计算（4.5）和界限（4.4）得出：sΦ*t、 s≤ Kαst-2CCαs2CCα。现在，让我们来看看这个过程√tYt，表示θt在全局最小θ周围的变化*. 首先，请注意√塔塔。s→ 0，由于绑定（4.4）。现在让我们检查一下√tΓt.回想一下E[k Ytkp]≤Ktp/2来自上一节中的Lpconvergence rate。应用这个结果，当p=2，3时，我们得到√tΓt≤ E√坦桑尼亚先令Φ*t、 sαs\'\'gθ（θs）YsYsds公司≤ K√坦桑尼亚先令Φ*t、 ss+s5/2ds公司≤ K√tt-CCαZtsCCα-2秒≤ K√tt-1=千吨-1/2. （4.6）因此，√tΓtp→ 0。（请注意\'\'gθ（θs）YsYsis是张量矩阵积。）接下来，我们讨论这个术语√tΓt.我们构造相应的泊松方程，并使用其解来分析Γt.定义G（x，θ）=θ′g（θ）- θg（x，θ），设v（x，θ）为偏微分方程Lxv（x，θ）=g（x，θ）的解。以类似于方程式（3.5）的方式进行（但现在使用不同的函数v），我们写道√tΓt：√tΓt=√tZtαsΦ*t、 s(θ′g（θs）-θg（Xs，θs））ds=√tZtαsΦ*t、 SDV-√tZtαsΦ*t、 sxv（Xs，θs）dWs-√tZtαsΦ*t、 sLθv（Xs，θs）ds-√tZtαsΦ*t、 sθv（Xs，θs）θf（Xs，θs）dWs-√tZtαsΦ*t、 sθxv（Xs，θs）θf（Xs，θs）ds=√tΓ3,1t+√tΓ3,2t+√tΓ3,3t+√tΓ3,4t+√tΓ3,5t，（4.7），其中v（x，θ）满足（3.4）中的要求。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:49

遵循第3节中的类似步骤，√t型|Γ3,1t |+|Γ3,3t |+|Γ3,4t |+|Γ3,5t|L→ 0，这当然意味着√t（Γ3,1t+Γ3,3t+Γ3,4t+Γ3,5t）p→ 0、术语√tΓ3,2t+√现在对tΓtis进行了分析。该项将产生极限高斯随机变量。回顾到σ=I的减少，我们有√tΓ3,2t+√tΓt=√tZtαsΦ*t、 sθf（Xs，θs）-xv（Xs，θs）dWs。（4.8）设h（x，θ）=θf（x，θ）- xv（x，θ）θf（x，θ）- xv（x，θ）和'h（θ）=Rh（x，θ）π（dx）。LetH（x，θ）=h（x，θ）-\'h（θ）。回想一下kθf（x，θ）k≤ K（1+kxkq+KθK），Kxv（x，θ）k≤ K（1+kxkq+KθK），vx个θ（x，θ）≤ K（1+kxkq+KθK），和vx个θ（x，θ）≤ K（1+kxkq+KθK）。v（x，θ）及其导数的后一个界限来自方程式（3.4）。这些界限意味着函数H（x，θ）及其导数在kxk和kθk中有多项式增长。根据定理A.1，PDELxw（x，θ）=H（x，θ）及其导数的解w（x，θ）在kxk和kθk中也有最多多项式增长。我们将证明√tΓ3,2t+√tΓtd→ N（0，‘∑），适用于适当的极限方差协方差矩阵‘∑。证明将依赖于泊松偏微分方程方法，使用其解及其导数的最多项式增长以及Xt和θt过程矩的一致有界性来分析收敛速度。的二次c去卵巢矩阵√tΓ3,2t+√tΓtis：∑t=tZtαsΦ*t、 sh（Xs，θs）Φ*,t、 sds。有必要证明∑tp→\'∑作为t→ ∞. 首先，我们展示一个更简单的极限。考虑过程：(R)∑t=tZtαsΦ*t、 s’h（θ*)Φ*,t、 sds。现在可以证明，∑t收敛到极限，∑t→ ∞. 现在让我们确定极限∑ast→ ∞. 回想一下\'g（θ*) 是严格正矩阵和对称矩阵。因此，通过e IGenValue分解，我们可以写出\'g（θ*) = U∧U,其中，U=[U，···，uk]是正交特征向量U。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-1 12:53:52

，英国∈ Rkand∧=diag（λ，····，λk）是对角线矩阵，当i=1，···，k时，正eig值λi>0。接下来，我们注意到（4.3）中的时间变换允许我们写出τ（t）=s+Rtsαudu和∧Φ*τ（t），s=Φ*t、 s▄Φ*τ、 s=e-\'g（θ*)(τ -s）。结合后面的结果，我们得到Φ*t、 s=Ue-∧RtsαuduU.为了便于记法，我们现在设置∧t，s=e-Rtsαudu∧=诊断e-λRtsαudu，···，e-λkRtsαudu= 诊断st公司λCα，···，st公司λkCα.让我们写出λ（t，s），i=st公司λiCα，对于i=1，····，k。矩阵Φ的（i，j）-第个元素*t、桩模板Φ*t、 s，i，j=kXm=1λ（t，s），mui，muj，m.自然（Φ*,)t、 s，k′，j=Φ*t、 s，j，k′=Pkm′=1λ（t，s），m′uj，m′uk′，m′。因此，矩阵∑t的第（i，j）个元素的形式为∑t，i，j=tZtαs“XnΦ*t、 s，i，nkXk′=1’h（θ*)n、 k′（Φ*,)t、 s，k′，j#ds=tZtαs“XnXmλ（t，s），mui，mun，m！Xk′’h（θ*)n、 k′Xm′λ（t，s），m′uj，m′uk′，m′#ds=XnXmXk′Xm′tZtαsλ（t，s），mui，mun，m\'h（θ*)n、 k′λ（t，s），m′uj，m′uk′，m′ds=XnXmXk′Xm′tZtαsst公司（λm+λm′）Cαdsui，mun，m’h（θ*)n、 k′uj，m′uk′，m′=XnXmXk′Xm′Cα（λm+λm′）Cα- 1.1.- t1级-（λm+λm′）Cαui，mun，m’h（θ*)n、 k′uj，m′uk′，m′。根据瑞利-里兹定理，λ，λk≥ C、因此，Cα（λm+λk′）≥ 2CαC>1。然后，我们得到极限二次协变矩阵∑的（i，j）-第元素的形式为∑i，j=limt→∞“∑t，i，j=XnXmXk′Xm”Cα（λm+λm′）Cα- 1.ui，mun，m’h（θ*)n、 k′uj，m′uk′，m′=XnXmui，mun，mXk′h（θ*)n、 k′Xm′型Cα（λm+λm′）Cα- 1.uj，m′uk′，m′。（4.9）注意，我们可以方便地写出∑=CαZ∞e-s（Cα）\'g（θ*)-一） \'h（θ*)e-s（Cα((R)g）(θ*)-一） ds。（4.10）仍需证明E∑t-\'∑t→ 0作为t→ ∞. 如果这是真的，那么三角形线的质量∑t-Σ≤ E∑t-\'∑t+ E“∑t-Σ→ 0。那么，E∑t-Σ→ 0表示∑tp→Σ.证明E∑t-\'∑t→ 0，我们首先定义“Vt=tZtαsΦ*t、 s’h（θs）Φ*,t、 sds。通过三角不等式，∑t-\'∑t≤∑t-(R)Vt+(R)Vt-\'∑t.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:55

我们首先讨论第二个术语：(R)Vt-\'∑t=tZtαsΦ*t、 s’h（θs）Φ*,t、 s- Φ*t、 s’h（θ*)Φ*,t、 sds公司. （4.11）矩阵Vt的第（i，j）个元素-“∑tis：(R)Vt-\'∑ti、 j=tZtαsXnΦ*t、 s，i，nkXk′=1′h（θs）n，k′Φ*,t、 s，k′，j-XnΦ*t、 s，i，nkXk′=1’h（θ*)n、 k′Φ*,t、 s，k′，jds=tZtαsXnΦ*t、 s，i，nkXk′=1θ′h（θs）n、 k′（θs- θ*)Φ*,t、 s，k′，jds，其中θ是连接θ和θ的段中适当选择的点*. 现在回想一下，v及其衍生物在kxk和kθk中最多可以以多项式形式增长。由于我们的特殊增长率θ′h（θ）≤ K（1+KθK）。此外，E[kθs- θ*k]≤Ks来自第3节中的收敛速度。利用这些事实，θt上的一致时间矩和Cauchy-Schwartz不等式，E[|(R)Vt-\'∑ti、 j |]≤ tZtαsEXnΦ*t、 s，i，nkXk′=1θ′h（θs）n、 k′（θs- θ*)Φ*,t、 s，k′，jds公司≤ KtZtαsXnΦ*t、 s、i、nkXk′=1Eθ′h（θs）n，k′Ekθs- θ*kΦ*,t、 s，k′，jds公司≤ KtZts公司-Φ*t、 sds。因此(R)Vt-\'∑t→ 0作为t→ ∞.现在，让我们谈谈∑t-(R)Vt使用泊松方程方法。∑t-(R)Vt=tZtαsΦ*t、 sh（θs，Xs）Φ*,t、 s- Φ*t、 s’h（θs）Φ*,t、 sds。矩阵∑t的（i，j）-th元素-？VTI：(R)Vt-\'∑ti、 j=tZtαsXnΦ*t、 s，i，nkXk′=1h（θs，Xs）n，k′-\'h（θs）n，k′Φ*,t、 s，k′，jds。使用It^o公式、Poisson方程Lxw=H上的边界（A.6）、Xt和θt上的力矩边界以及It^o等距，可以显示(R)Vt-\'∑ti、 j→ 0，作为t→ ∞. 这当然意味着E(R)Vt-\'∑t→ 0.结合结果并使用三角形不等式，我们得到了期望的结果∑tp→\'∑作为t→ ∞.方程（4.8）的二次变量∑t的概率收敛意味着（4.8）在分布上收敛到协方差∑的平均零正态随机变量（见[8]第1.2.2节）。综合所有结果得出中心极限定理：√tYtd型→ N（0，‘∑）。5非凸情形下中心极限定理的证明从定理2.11中，我们知道k\'g（θt）k→ 0几乎可以肯定。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:53:58

在蓄水条件下，这意味着kθt- θ*k→ 0或kθtk→ ∞. 因此，我们必须首先证明kθtk几乎肯定是有限的。参数θt取值为：θt=θ+Zt-αsθ′g（θs）ds+Ztαsθ′g（θs）- θg（θs，Xs）ds+Ztαsθf（Xs，θs）dWs。（5.1）从条件2.12中回顾：如果θi，θi'g（θ）>0- θ*i> 兰德公司如果θi，θi'g（θ）<0- θ*i<-Rfori=1，2，k、如果|θt，i（ω）|→ ∞, 那么θt，i（ω）→ +∞ 或θt，i（ω）→ -∞ 因为θ是连续路径（即，发散序列，如-2无法发生）。接下来，请注意方程（5.1）中的第二和第三个积分几乎肯定会收敛到有限的随机变量。假设θt，i（ω）→ +∞. 这意味着存在一个T（ω），使得θT，i>θ*对于所有t≥ T（ω）。然而，RtT（ω）-αsθi'g（θs）ds<0。这与（5.1）中的第二项和第三项收敛到有限随机变量的事实相结合，证明了θt，i<+∞ 概率为1。类似的论证表明θt，i>-∞ 概率一。因此，|θt，i- θ*i |→ 0几乎可以肯定。θta。s→ θ*这意味着，对于任何δ>0的极小值，都存在一个（随机）时间τδ，使得kθt- θ*所有t的k<δ≥ τδ. 注意，对于固定δ>0，τδ几乎肯定是有限的，但我们也注意到τδ不是停止时间。在本节中，选择的参数δ非常小，因此0<δ<δ*,其中δ*从条件2.12中获取。使用泰勒展开：θ′g（θt）=θ′g（θ*) + \'g（θt）（θt- θ*) = \'g（θt）（θt- θ*),其中θ在连接θttoθ的段中适当选择*. 然后我们得到了（θt- θ*) = -αt\'g（θt）（θt- θ*)dt+αt(θ′g（θt）- θg（Xt，θt））dt+αtθf（Xt，θt）dWt。设Φt，ssatisfydΦt，s=-αt\'g（θt）Φt，sdt，Φs，s=I，注意，对于t>s>τδ，kΦt，sk≤ 千吨级-2CCαs2CCα。我们稍后还将利用Φt，s表示半群性质Φt，s=Φt，τΦτ，s这一事实（供参考，请参见[5]中的命题2.14）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:54:03

让Yt=θt- θ*, 我们得到y=Φt，1Y+ZtαsΦt，s(θ′g（θs）- θg（Xs，θs））ds+ZtαsΦt，sθf（Xs，θs）dWs=Γt+Γt+Γt。第一项分析如下。引理5.1。√塔塔。s→ 0，作为t→ ∞.证据对于t≥ τδ我们有√tΓt=√t型Φt，τ′ΔΦτ′δ，1Y≤ K√t型Φt，τ′δΦτ′δ，1Y≤ 千吨级-CCα+τCCα′δΦτ′δ，1Y= K（τ′δ）t-CCα+。其中K（τ′δ）=τCCα′δΦτ′δ，1Y几乎可以肯定是有限的，因为P[τ′δ<∞] = 1.那么，由于CCα>1，√塔塔。s→ 0as t→ ∞.设v（x，θ）满足泊松偏微分方程Lxv=G（x，θ），其中G（x，θ）=θ′g（θ）- θg（x，θ）。根据定理2.13的假设，解v（t，x）及其相关偏导数在kxk中最多多项式增长，在kθkd中线性增长。It^o的公式得出表示式Γt=ZtαsΦt，s(θ′g（θs）- θg（Xs，θs））ds=ZtαsΦt，sdvs-ZtαsΦt，sxv（Xs，θs）dWs-ZtαsΦt，sLθv（Xs，θs）ds-ZtαsΦt，sθv（Xs，θs）θf（Xs，θs）dWs-ZtαsΦt，sθxv（Xs，θs）θf（Xs，θs）ds=Γ2,1t+Γ2,2t+Γ2,3t+Γ2,4t+Γ2,5t。为了现在分析Γ2、2tand和Γtwe中涉及的术语，我们需要一些中间结果，这些中间结果如下所示。出于陈述目的，这些引理的证明推迟到本节末尾。引理5.2。设ζ（x，θ）是一个（潜在的矩阵值）函数，它最多可以在x和θ中多项式增长。然后，我们得到了1。It部门=√tRtαsΦt，sζ（Xs，θs）dsa。s→ 0，作为t→ ∞, 和2.It=√tRtαsΦt，sζ（Xs，θs）dWs→ 0，概率为t→ ∞.引理5.2立即给出√tΓ2,3t（回想一下，操作符Lθ有一个αt的乘法因子），√tΓ2,5t几乎肯定会收敛到零√tΓ2,4概率收敛到零，ast→ ∞. 要看到这一点，就足以注意到所有这些术语都采用引理5.2中提到的Itan和ItQuantities的形式。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-1 12:54:05

术语√tΓ2,1也几乎肯定会收敛到零，首先使用公式的It^进行重写，就像第3节的相应项一样（参考（3.7）用p=2替换ψ（p）t，sbyΦt，s），然后再次使用引理5.2。极限高斯随机变量将由Γ2,2t和Γt产生。因此，仍需分析√t（Γ2,2t+Γt）。我们有√t（Γ2,2t+Γt）=√tZtαsΦt，sθf（Xs，θs）- xv（Xs，θs）dWs。利用文献[8]的结果，可以证明∑t=tZtαsΦt，sh（Xs，θs）Φ的概率收敛性t、 SDS是一个确定的量。我们在此回顾h（x，θ）=θf（x，θ）-xv（x，θ）θf（x，θ）-xv（x，θ）.如前所述，让Φ*t、 sbe解决方案todΦ*t、 s=-αt\'g（θ*)Φ*t、 sdt，Φ*s、 s=I.回想一下Φ*t、边界信息Φ*t、 s≤ 千吨级-2CCαs2CCα。定义∑tand∑*tas：‘∑t=tZtαsΦt，s’h（θ*)Φt、 sds和‘∑’*t=tZtαsΦ*t、 s’h（θ*)Φ*,t、 sds。请注意，我们已经在上一节中证明了‘∑’*t概率收敛为‘∑as t→ ∞. 我们想证明这一点\'∑t-Σ*t型→ 0作为t→ ∞, 几乎可以肯定。引理5.3。\'∑t-Σ*t型→ 0，概率为1，为t→ ∞.为了证明这一点∑t-\'∑t→ 0，我们首先定义“Vt=tZtαsΦt，s”h（θs）Φt、 sdsBy三角不等式，∑t-\'∑t≤∑t-(R)Vt+(R)Vt-\'∑t. 然后我们有下面的引理。引理5.4。(R)Vt-\'∑t→ 0，概率为1，为t→ ∞.引理5.5。∑t-(R)Vt→ 0，概率为t→ ∞.通过三角不等式，∑t-Σ≤∑t-(R)Vt+(R)Vt-\'∑t+\'∑t-Σ.组合引理5.5、5.3和5.4，∑t-Σp→ 0作为t→ ∞.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

能者818

2022-6-1 12:54:09

因此，使用[8]中的结果，√t（Γ2,2t+Γt）d→ N（0，‘∑），作为t→ ∞.综合所有结果得出中心极限theo-rem：√tYtd型→ N（0，‘∑），这是我们期望的结果。5.1引理的证明5.2-5.5在本小节中，我们给出了用于证明非凸情形的中心极限定理的引理的证明。首先，我们需要一个中间结果来正确处理多维随机图的零收敛性。这样的结果应该是文献中的标准结果，但因为我们没有找到正确的陈述，所以我们给出了引理5.6。引理5.6。设Zt=Rtb（t，s，Xs，θs）dWs。让p∈ N是给定的整数，并考虑常数c>p-和一个矩阵E，其中EE是正定义，例如-c+p-Ztαpsscb（t，s，Xs，θs）E数字信号处理器→ 0，（5.2）作为t→ ∞. 然后，ifRtb（t，s，Xs，θs）b（t，s，Xs，θs）数字信号处理器→ 0作为t→ ∞, 我们有Ztp→ 0作为t→ ∞.引理5.6的证明。设η>0为任意选择，并构造随机变量Zt=ηs2c-2p+1C2pαt-c+p-ZtαpsscEdWs。根据[8]第1.2.2节中的命题1.21，Zt+~Ztd→ N（0，ηEE) 作为t→ ∞. 此外，Ztd→N（0，ηEE) 作为t→ ∞. 然后，根据三角不等式，PkZtk>≤kXi=1PZt，i>k=kXi=1P|Zt，i|>rk=kXi=1P|Zt，i+~Zt，i-Zt，i |>rk≤kXi=1P|Zt，i |+| Zt，i+| Zt，i |>rk≤kXi=1P|Zt，i |>rk+ P|Zt，i+~Zt，i |>rk. （5.3）对于每个固定η>0，不等式（5.3）的RHS收敛到一个有限的量，即t→ ∞ 由于连续映射定理和Zt分布的收敛性，i+~Zt，i和~Zt。此外，通过选择一个非常小的η，可以使RHS的限制任意小。因此，对于任何δ>0，存在一个η>0，这样：lim supt→∞PkZtk>< δ.引理5.2的证明。让我们首先证明引理的第一个陈述。不损失一般性，lett≥ τδ.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝