在Lemma 5.6的符号中，让我们设置b（t，s，x，θ）=√tαsΦt，sζ（x，θ），并且，在一些滥用符号的情况下，让我们将r的数量[It]=tZtαsΦt，sζ（Xs，θs）ζt（Xs，θs）ΦTt，sds。现在，它是一个元素为i的矩阵，j=tZtαsXnΦt，s，i，nkXk′=1ζζn、 k′（Xs，θs）Φt，s，k′，jds=tZτδ∧tαsXnΦt，s，i，nkXk′=1ζζn、 k′（Xs，θs）Φt，s，k′，jds+tZτδ∨tτδ∧tαsXnΦt，s，i，nkXk′=1ζζn、 k′（Xs，θs）Φt，s，k′，jds=[It]i，j+[It]i，j。按照引理的第一部分进行，表明对于each索引i，j，矩阵的相应元素[It]变为零，即[It]i，j=[It]i，j+[It]i，j→ 0，a.s.，作为t→ ∞.为了完成证明，我们需要使用引理5.6。Le t us defined t=t-c+p-Ztα2+pssc√tΦt，sζ（Xs，θs）Eds=t-c+pZτδ∧tα2+psscΦt，sζ（Xs，θs）Eds+t-c+pZτδ∨tτδ∧tα2+psscΦt，sζ（Xs，θs）Eds=Dt+Dt。通过引理5.6，如果我们证明对于p，c和E的适当选择，dt的概率为零，如t→ ∞, 然后我们会证明引理的第二个陈述成立，也就是说→ 0可能性为t→ ∞.我们选取p=2，c=2CCα和E=I来表示单位矩阵。让我们首先从Dt开始。注意，对于矩阵的（i，j）元素，我们有Dt公司≤ 千吨级-2CCα+2Zτδ∨tτδ∧tαss2CCαkΦt，sζ（Xs，θs）kds≤ 千吨级-3CCα+2Zτδ∨tτδ∧ts3CCα-4（1+kXskm+kθskm）ds。很明显，从这一点来看，DTI的分析与I1,2t的分析是相同的。特别是，确定数量^Lt=Kt-3CCα+2Zts3CCα-4（1+kXskm+kθskm）ds，对于ε>0，考虑事件^At，ε=n^Lt≥ tε-1o。利用Mar-kov不等式和x和θswe矩在时间界上的一致性，我们得到了thatPh^At，εi≤E^Lttε-1.≤ 千吨级-3CCα+2Rts3CCα-4dstε-1.≤ 千吨级-ε.从这里开始，其余的论证遵循Borel-Cantelli论证，该论证用于证明引理的第一部分。

这就产生了Dta。s→ 0作为t→ ∞.接下来，使用半群性质，对于τδ<t，可以将Dt重写为：Dt=t-2CCα+2Zτδαss2CCαΦt，τδΦτδ，sζ（Xs，θs）ds=t-2CCα+2Φt，τδZτδαss2CCαΦτδ，sζ（Xs，θs）ds。因此，通过与I1,1t项类似的逻辑，我们得到Dt公司≤ C（τδ）t-3CCα+2，其中C（τδ）几乎肯定是有限的。因此，由于CCα>1，Dta。s→ 0作为t→ ∞. 因此，作为t→ ∞,我们确实得到了Dt=Dt+Dta。s→ 0，引理5.6表示引理的第二个陈述为真。这包含了引理的证明。引理5.3的证明。Φt，可按Φ进行压缩*t、 要了解这一点，首先根据泰勒展开式：dΦt，s=-αt\'g（θ*)Φt，sdt- αtCtYtΦt，sdt，Φs，s=I，cta是'g（θ）的三阶偏导数，根据所采用的假设，它们是统一的。因此，Φt，s=Φ*t、 s-ZtsαuΦ*t、 uCuYuΦu，sdu。定义ξt，s=RtsαuΦ*t、 uCuYuΦu，sdu。回想一下，几乎可以肯定存在一个有限的随机时间τδ，例如，对于所有t≥ τδ和足够小的任何δ。从Φt，sandΦ的边界*t、 我们有fort>s>τδ，其中δ足够小，kξt，sk≤ tZtsαuΦ*t、 uCuYuΦu，s杜邦≤ tKZtsαuΦ*t、 u型kYukkΦu，skdu≤ Kδt-2CCα+1s2CCαZtsu-2du≤ Kδt-2CCαs2CCα。我们在上述第一个不等式中使用了Cauchy-Schwartz不等式。现在，考虑t>τδ但s<τδ的情况。ξt，s=ZtsαuΦ*t、 uCuYuΦu，sdu=ZτδsαuΦ*t、 uCuYuΦu，sdu+ZtτδαuΦ*t、 uCuYuΦu，sdu=Φ*t、 τδZτδsαuΦ*τδ，uCuYuΦu，sdu+ξt，τδ。从上一个界，kξt，τδk≤ Kδt-CCατCCαδ。因此，利用τδ几乎肯定是有限的事实，Φ的界限*t、 τδ和ξt，τδ，以及三角形不等式kξt，sk≤ C（τδ）t-CCα，当t>τδ但s<τδ时。我们将使用这些结果来推导∑tas t的极限→ ∞.“∑t=tZtαsΦt，s”h（θ*)Φt、 sds=tZtαsΦ*t、 s’h（θ*)Φ*,t、 十二烷基硫酸钠- tZtαsξt，s’h（θ*)Φt、 十二烷基硫酸钠- tZtαsΦ*t、 s’h（θ*)ξt、 sds=“”∑*t型- tZtαsξt，s’h（θ*)Φt、 十二烷基硫酸钠- tZtαsΦ*t、 s’h（θ*)ξt、 sds。（5.5）让我们考虑（5.5）中的第二项。

在不丧失一般性的情况下，假设t>τδ。tZtαsξt，s’h（θ*)Φt、 十二烷基硫酸钠≤ tZtτδαsξt，s’h（θ*)Φt、 sds+tZτδαsξt，s’h（θ*)Φt、 sds公司≤ tZtτδαsξt，s’h（θ*)Φt、 sds+tZτδαsξt，s’h（θ*)Φτδ，sΦt、 τδds公司≤ Kδt-4CCα+3Ztτδs4CCα-4ds+C（τδ）t-4CCα+3≤ Kδ+C（τδ）t-4CCα+3。（5.6）C（τδ）几乎肯定是有限的，因为τδ几乎肯定是有限的。（5.5）中的第三项是相似的。利用（5.5）和界（5.6），我们得到概率为1的：lim supt→∞\'∑t-Σ*t型≤ Kδ。这意味着limt→∞\'∑t-Σ*t型= 0，因为δ可以是我们想要的那么小。这就是这个困境的证明。引理5.4的证明。(R)Vt-\'∑t=tZtαsΦt，s’h（θs）Φt、 s- Φt，s’h（θ*)Φt、 sds公司.使用半组属性“Vt”-\'∑t=tZτΔαsΦt，τΔΦδ，s'h（θs）Φτδ，sΦt、 τδ- Φt，τΔΦδ，s'h（θ*)Φτδ，sΦt、 τδds+tZtτδαsΦt，s’h（θs）Φt、 s- Φt，s’h（θ*)Φt、 sds。矩阵Vt的第（i，j）个元素-“∑tis：(R)Vt-\'∑ti、 j=kXm，l,n、 k′=1tZτδαsΦt，τδ，i，mΦτδ，s，m，lθ′h（θs）l,n（θs- θ*)Φτδ，s，n，k′Φt，τδ，k′，j+tZtτδαsXn，k′Φt，s，i，nθ′h（θs）n、 k′（θs- θ*)Φt，s，k′，jds。利用Cauchy-Schwartz不等式及其界θ′h（θ）≤ K（1+KθK）我们有tZtτΔαsXn，k′Φt，s，i，nθ′h（θs）n、 k′（θs- θ*)Φt，s，k′，jds≤ tZtτδαsXn，k′Φt，s，i，nθ′h（θs）n、 k′（θs- θ*)Φt，s，k′，jds公司≤ Kδt-4CCα+3Ztτδs4CCα-4ds≤ Kδ。（5.7）我们还有：tZτδαskXm，l,n、 k′=1Φt，τδ，i，mΦτδ，s，m，lθ′h（θs）l,n（θs- θ*)Φτδ，s，n，k′Φt、 τδ，k′，jds≤ tZτδαskXm，l,n、 k′=1Φt，τδ，i，mΦτδ，s，m，lθ′h（θs）l,n（θs- θ*)Φτδ，s，n，k′Φt，τδ，k′，jds公司≤ KtkXm，l,n、 k′=1Φt，τδ，k′，jΦt，τδ，i，mZτδαsΦτδ，s，m，lθ′h（θs）l,n（θs- θ*)Φτδ，s，n，k′ds≤ C（τδ）t-4CCα+3。（5.8）自τδ<∞ 对于概率1，C（τδ）也具有概率1。结合方程式（5.7）和（5.8）的结果，(R)Vt-\'∑ti、 j≤ Kδ+C（τδ）t-4CCα+3。因此，我们有lim支持→∞(R)Vt-\'∑t≤ Kδ。因为δ是任意小的，我们有(R)Vt-\'∑ti、 是的。s→ 0，结束引理的证明。引理5.5的证明。

注意，我们有∑t-(R)Vt=tZtαsΦt，sh（θs，Xs）Φt、 s- Φt，s’h（θs）Φt、 sds。（5.9）以及矩阵的（i，j）-第个元素∑t-？VTI：(R)Vt-\'∑ti、 j=tZtαsXnΦt，s，i，nkXk′=1h（θs，Xs）n，k′-\'h（θs）n，k′Φt、 s，k′，jds。设wn，k′（x，θ）为泊松方程Lwn，k′（x，θ）=h（θ，x）n，k′的解-\'h（θ）n，k′。由于定理2.13的推导，解wn，k′（t，θ）及其相关的偏导数最多会相对于θ和x多项式增长。下一步是重写差异(R)Vt-\'∑ti、 使用泊松方程和It^o公式，然后显示所得方程右侧的每个项都归零。例如，我们将得到thattZtαsXnΦt，s，i，nkXk′=1h（θs，Xs）n，k′-\'h（θs）n，k′Φt，s，k′，jds=tZtαsXnΦt，s，i，nkXk′=1Φt，s，k′，jxwn，k′（Xs，θs）dWs+(*), （5.10）其中(*) 是应用It^o公式得到的黎曼积分的集合。现在，每一个terms都可以用一个与引理5.2完全平行的参数显示为零。由于论点的相似性，省略了细节。6收敛性分析和见解中心极限定理为[14]中开发的SGDCT算法的性能提供了重要的理论保证。定理2.13特别重要，因为它表明t-甚至适用于一类非凸模型。这很重要，因为许多模型都是非凸的。此外，通过分析可以深入了解算法的行为，并为选择最佳学习速率以实现数值性能提供指导。中心极限理论与最优速率的关系√t是CαC>1。Cα是学习速率的大小。例如，以αt=CαC+t为例。因此，必须选择足够大的学习速率幅度，以实现最佳的收敛速度。

常数C越大，函数g（θ）在全局最小θ附近越陡*. 常数C越小，函数g（θ）在全局最小值θ附近越小*.全球最小点周围的区域“越大”，学习速率的大小必须越大。如果全球最小点周围的区域陡峭，则下降率幅度可能较小。保证t收敛速度的CαC>1条件-不特定于SGDCT算法，但通常是连续时间统计学习算法的特征。学习速度衰减的连续时间梯度下降算法的收敛速度取决于学习速度的大小cα。考虑确定性gra die nt下降算法dθtdt=-αtθ′g（θt）。设αt=CαC+并假设'g（θ）是强凸。那么kθt- θ*k≤ 千吨级-CCα。注意，收敛速度完全取决于学习速率Mα的选择。如果Cα很小，确定性梯度下降算法甚至会以比t小得多的速度收敛-.t型-如果系统（1.1）中的噪声是布朗运动，则为可能的最快收敛速度。这是由于布朗运动在时间上呈线性增长的方差。然而，其他类型的方差在时间上呈次线性增长的噪声可以允许比t更快的收敛速度-. 变量随时间呈次线性增长的随机过程的一个例子是具有适当选择的赫斯特参数的分数布朗运动。

分析更一般类型噪声下的收敛率将是未来研究的一个非常有趣的课题。在中心极限定理结果中，我们还能够预先刻画渐近方差方差矩阵∑=“∑i，jki，j=1，带∑i，j=XnXmui，mun，mXk′h（θ*)n、 k′Xm′型Cα（λm+λm′）Cα- 1.uj，m′uk′，m′和∑=CαZ∞e-s（Cα）\'g（θ*)-一） \'h（θ*)e-s（Cα((R)g）(θ*)-一） ds。协方差取决于矩阵的特征值和特征向量\'g（θ*), 这是Hessianmatrix？g（θ）在全局最小θ处*. 特征值越大，方差越小。这意味着函数g（θ）越陡，接近全局最小值θ*, 交感方差越小。函数“g（θ）”越接近全局最小值，渐近方差越大。如果函数非常灵活，θt向θ漂移*主要由no ise Wt的函数决定。协方差还取决于学习率幅值Cα。学习速率越大，交感方差∑越大。虽然需要足够大的学习率才能达到最佳的收敛速度，但-, 学习率过大会导致方差过大。7结论连续时间随机梯度下降（SGDCT）为连续时间模型的统计学习提供了一种计算有效的方法，在科学、工程和金融领域有着广泛的应用。SGDCT算法沿着连续的数据流遵循（有噪声的）下降方向。算法更新满足随机微分方程。通过证明中心极限定理m，分析了SGDCT算法的渐近收敛速度，并证明了算法的LPL收敛速度。除了理论上的保证外，收敛速度分析还为算法的行为和动力学提供了重要的见解。

渐近协方差具有精确的特征，并显示了不同特征的影响，如学习率、噪声水平和目标函数的形状。本文中的证明需要解决几个挑战。首先，formRtαs的函数h（Xs，θs）-\'h（θs）无法分析ds。我们使用泊松偏微分方程评估和控制这些波动率αt。其次，允许模型f（x，θ）随θ增长。这意味着函数以及其他项可以随θ增长。因此，我们必须证明kθtk的先验稳定性估计。证明定理m 2.13中非凸g（θ）的中心极限定理很有挑战性，因为θt的收敛速度在某些区域可能会任意缓慢，梯度甚至会指向全局最小值θ之外*. 通过分析[0，τδ]和[τδ]两个区域，我们证明了非凸情形的中心极限定理，∞), 式中，定义τδ，使得kθt- θ*所有t的k<δ≥ τδ.初步估计本节介绍了本文中使用的两个关键界限。第A.1节证明了θt的一致初力矩界。也就是说，我们证明了E[kθtkp]在时间上是一致有界的。第A.2节给出了一类泊松偏微分方程解的界。本文将某些方程与泊松n偏微分方程的解联系起来，然后应用这个界。A、 1力矩边界很容易看出，对于kθk>R（实际上对于kθk>0），kθtk=qPki=1θitd kθtk=-αthθt，θg（Xt，θt）ikθtk- αtnXi，j=1θitθjtθfTθf（Xt，θT）i、 j2 kθtk+αtnXi=1θfTθf（Xt，θT）i、 i2 kθtkdt+αtkθtkhθt，θf（Xt，θt）dWti=-αthθt，θg（Xt，θt）ikθtk- αtnXi，j=1θitθjtθfTθf（Xt，θT）i、 j2 kθtk+αtnXi=1θfTθf（Xt，θT）i、 i2 kθtkdt+αtτ（Xt，θt）dWt，对于独立的一维布朗运动W。

现在，让我们考虑一下过程▄θt，它的满意度▄θt=-αtκ（Xt）～θtdt+αtθf（Xt，|θt）dWt，其中κ（x）来自条件2.3。然后，我们得到类似的~θ> 0和θt=rPki=1θitdθt=-αtκ（Xt）θt- αtnXi，j=1|θit|θjtθfT|θf（Xt，|θT）i、 jθt+ αtnXi=1θfT|θf（Xt，|θT）i、 我θtdt+αtθtD|θt，§θf（Xt，§θt）dWtE=-αtκ（Xt）θt- αtnXi，j=1|θit|θjtθfT|θf（Xt，|θT）i、 jθt+ αtnXi=1θfT|θf（Xt，|θT）i、 我θt由于条件2.3和2.4以及kθk的相关漂移和扩散系数的连续性，dt+αtτ（Xt，~θt）dwt，~θ>R>0时，我们可以使用比较定理（例如[7]）来获得kθtk≤θt, t型≥ 0= 1.（A.1）很容易看出，尽管条件2.4中存在λ（x）一词，但[7]中比较定理1.1的证明几乎一字不差。原因是，假设λ（x）|在kxk中具有最大多项式增长，并且x的所有矩在t中都是统一有界的。现在，请注意|θtca可以写成积分方程θt=θe的解-Rtαsκ（Xs）ds+Ztαse-Rtsαrκ（Xr）drθf（Xs，|θs）dWs。从后一个表示中，我们可以回顾，κ（x）几乎肯定是正的，对于任何p≥ 1E级θt2p级≤ KE公司~θ2p+KEZtαse-Rtsαrκ（Xr）drθf（Xs，~θs）dWs2p级≤ KE公司~θ2p+KEZtαse-2Rtsαrκ（Xr）drθf（Xs，|θs）ds公司p≤ KE公司~θ2p+KEZtα2pse-2pRtsαrκ（Xr）drθf（Xs，|θs）2pds≤ KE公司~θ2p+KEZtα2psθf（Xs，|θs）2pds≤ KE公司~θ2p+KZtα2ps1+E kXsk2pq+Eθs2p级ds公司≤ KE公司~θ2p+KZtα2psds+KZtα2psEθs2pds≤ KE公司~θ2p+K2p- 1.C1类-2p级- （C+t）1-2p级+ KZtα2psEθs2个。≤ K+KZtα2psEθs2pd，其中不重要的有限常数K<∞ 行与行之间的更改。因此，Gr-onwall引理立即给出了任何p≥ 1存在一个有限常数K<∞ 支持>0Eθt2p级≤ K

（A.2）将（A.1）和（A.2）结合起来，我们就可以得到≥ 对于适当的有限常数K，supt>0E Kθtk2p≤ K、 完成目标边界的证明。A、 2 Poisson PDEWe回顾了[10]中关于整个空间中的Poisson方程的以下正则性结果，适当地陈述以涵盖我们感兴趣的情况。定理A.1。设条件2.1、2.2和2.6为s at fied。假设H（x，θ）∈ Cα，2十、 Rk公司其中X Rm，ZXH（x，θ）π（dx）=0，（A.3），对于某些正常数K，p，p，pand q，kH（x，θ）K≤ K（1+Kθkp）（1+kxkq），Hθ（x，θ）≤ K（1+Kθkp）（1+kxkq），Hθ（x，θ）≤ K（1+Kθkp）（1+kxkq）。（A.4）让LX成为X过程的最小生成器。然后，泊松方程lxu（x，θ）=H（x，θ），ZXu（x，θ）π（dx）=0（A.5）有一个满足u（x，·）的唯一解∈ C每x∈ 十、θu∈ C（X×Rn）存在正常数K′和m，这样ku（X，θ）K+Kxu（x，θ）k≤ K′（1+Kθkp）（1+kxkm），uθ（x，θ）+ux个θ（x，θ）≤ K′（1+Kθkp）（1+kxkm），uθ（x，θ）+ux个θ（x，θ）≤ K′（1+Kθkp）（1+kxkm）。（A.6）形式H（x，θ）=H（x，θ）的项-在整个论文中，必须分析和控制\'h（θ）。注意，H（x，θ）满足定心条件（A.3）。例如，术语G（x，θ）=θg（x，θ）- θ′g（θ）需要控制。G（x，θ）满足定心条件（A.3），条件2.6表示边界（A.4），并对p、p、pand q进行适当选择。

因此，与h（x，θ）=G（x，θ）相关的泊松解（A.5）满足界限（A.6）。B在全局Lipschitz假设下f（x，θ）线性增长收敛的证明\'g（θ）和附录A.1中导出的θ矩的统一边界证明与[14]中完全相同，除了[14]第3节中的术语J（1）tof引理3.1，我们在下面定义并证明其几乎肯定收敛到0。J（1）t=αtkv（Xt，θt）k。使用边界（A.6）和[9]的结果，有一些0<k<∞ （可能会从下面的线toline更改）和0<q<∞ 对于t大的Enough | J（1）t|≤ KαtE1+kXtkq+kθtk≤ Kαt。考虑p>0，使limt→∞αtt2p=0，对于任何δ∈ （0，p）确定δ=nJ（1）t时的事件≥ tδ-采购订单。那么我们有足够大的t，使得αtt2p≤ 1P（At，δ）≤E | J（1）t | t2（δ-p）≤ Kαtt2pt2δ≤ Kt2δ。后者意味着xn∈NP（An，δ）<∞.因此，通过Borel-Cantelli引理，我们得到了每个δ∈ （0，p）有一个有限的正随机变量d（ω）和一些n<∞ 每n≥ 无ha sJ（1）n≤d（ω）n（p-δ).因此对于t∈ [2n，2n+1）和n≥ 某些有限常数K<∞J（1）t≤ Kαn+1次以上∈（0,2n+1）kv（Xs，θs）k≤ Kd（ω）（n+1）（p-δ)≤ Kd（ω）tp-δ.后者则显示gua rantees对于t≥ 2nwe具有概率oneJ（1）t≤ Kd（ω）tp-δ→ 0，作为t→ ∞.参考文献[1]I.Basawa和B.Rao，《随机过程的渐近推断，随机过程及其应用》，第10卷，第3期，（1980），第221-254页。[2] A.Benveniste、M.Metivier和P.Priouret，《自适应算法和随机逼近》。Springer Verlag，1990年。[3] J.P.N.Bishwal，《随机微分方程中的参数估计》，载《数学课堂讲稿》，1923卷，斯普林格科学与商业媒体，2008年。[4] O.Elerian、S.Chib和N.Shephard，《离散观测非线性差异的可能性推断》，计量经济学，第69卷，第4期，pp。

959-993, 2001.[5] C.Chicone，《普通微分方程及其应用》，第二版，Springer，纽约，2006年。[6] K.Doya，《在连续的时间和空间中强化学习》。《神经计算》，第12卷，第1期，第219-2452000页。[7] N.Ikeda和S.Watanabe，《随机微分方程解的比较定理及其应用》，大阪J.数学。，第14卷，（1977年），第619-63 3页。[8] Y.Kutoyants，《遍历扩散过程的统计推断》。斯普林格，2004年。[9] E。Pardoux和A.Yu。Veretennikov，《关于泊松方程和扩散近似1》，可能性年鉴，第29卷，第3期，（2001），第1061-1085页。[10] E.Pardoux和A.Y.Veretennikov，《关于泊松方程和扩散近似2》，《概率年鉴》，第31卷，第3期，（2003），第1166-1192页。[11] M.Raginsky和J.Bouv rie，《网络上的连续时间随机镜像下降：方差减少、一致性、收敛性》，IEEE决策与控制会议，2012年。[12] B.L.S.P.Rao，《扩散型过程的统计推断》，Arnold，1999年。[13] D.J.Sakrison，《随机过程的连续Kiefer-Wolfowitz过程》，Ann。数学统计员。，第35卷，第2期，（1964年），第590-599页。[14] J.Sirignano和K.Spiliopoulos，《连续时间中的随机梯度下降》，暹罗金融数学杂志，第8卷，第1期，（2017），第933-961页。[15] S.Surace和J.P Fister，部分观测到的扩散过程参数的在线最大似然估计。arXiv:161 1.001702016。[16] A.Yu。Veretennikov，关于随机微分方程的多项式混合边界，S Tochasticprocess及其应用，第70卷，Iss ue 1，（1997），第115-127页。[17] G.Yin，I.Gupta，《关于连续时间随机逼近问题》，应用数学学报，第33卷，第1期，（1993），第3-20页。