这里我们回顾了一个基本事实，即H中集合a的闭式等于a中序列的所有极限点的集合，参见[AB99，定理2.37]。A、 2再生核希尔伯特空间集k:E×E→ 如第2节开头所述，R是一个带有RKHS H的内核。我们收集了论文中用到的一些基本事实。下面的引理给出了k的一些有用表示，参见[PR16，定理2.4和12.11]，这适用于任意集E。引理A.1。（i） 设{φi | i∈ 一} 是H的ONB，那么k（x，y）=Pi∈IφI（x）φI（y），其中序列在点方向上相交。（ii）存在一个随机过程φω（x），指数为x∈ E、 关于某些概率空间(Ohm, F、 M）ω7→ φω（x）：Ohm → R是平方可积随机变量，k（x，y）=ROhmφω（x）φω（y）dM（ω）。下一个引理为H中函数的连续性和H引理A.2的可分性提供了充分条件。假设（E，τ）是一个拓扑空间。那么下面的公式成立：（i）如果k在对角线上是连续的→xk（x，y）=石灰→xk（y，y）=所有x的k（x，x）∈ E、 （34）然后每小时∈ H是连续的。（ii）如果每小时∈ H是连续的，且（E，τ）是可分的，则H是可分的。证据（i） ：让h∈ H、 然后| H（x）- h（y）|≤ kk（·，x）- k（·，y）kHkhkH，by（8），带kk（·，x）- k（·，y）kH=（k（x，x）- 2k（x，y）+k（y，y））1/2和（34）表示h是连续的。（ii）：这源自【BTA04，定理15】。A、 Hilbert空间上的3个紧算子集H，Hbe可分Hilbert空间。线性算子（或简单的算子）T:H→ His compact if the image（T hn）n≥1任意有界序列（hn）n≥1of H包含收敛子序列。An运算符T:H→ His Hilbert–Schmidt，如果kT k=（Pi∈IkTφikH）1/2<∞, 和跟踪类ifkT k=Pi∈Ih（T*T）1/2φi，φiiH<∞, 对于某些（以及因此任何）ONB{φi | i∈ 一} 对于H，我们表示bykT k=suph∈通常的运算符规范。

我们有kT k≤ kT k≤ kT k，因此迹类简化了Hilbert–Schmidt，并且每个Hilbert–Schmidt算子都是紧的。自伴算子T:H→ 如果hT H，hiH，H为非负≥ 0，对于所有h∈ H、 让T:H→ H是一个负的、自伴的紧算子。然后存在一个ONS{φi | i∈ 一} ，对于可数指数集I，且特征值uI>0，使得光谱表示保持：T=Pi∈Iuih·，φiiHφI.A.4 Hilbert空间中的随机变量。H是可分Hilbert空间，Q是H上的概率测度。特征函数bq:H→ Q中的C由bq（h）=RHeihy、hiHQ（dy）、h定义∈ H、 IfRHkykHQ（dy）<∞, 然后很好地定义了Q的平均值mQ=RHyQ（dy），其中积分是Bochner意义上的，参见，例如，【DPZ14，第1.1节】。IfRHkykHQ（dy）<∞, 然后，协方差运算符qqof Q由hQQh定义，hiH=RHhy，hiHhy，hiHQ（dy）- hmQ、hiHhmQ、hiH、h、h∈ H、 HenceQQis是一个非负的自伴迹类算子。测度Q是高斯的，Q~ N（mQ，QQ），ifbQ（h）=eihmQ，hiH-hQQh，hiH，见【DPZ14，第2.3节】。现在让我们(Ohm, F、 P）概率空间，和（Yn）n≥1a分布为Y的i.i.d.H值随机变量序列~ Q、 假设E[Y]=0。如果E【kYkH】<∞, 然后（Yn）n≥1满足以下大数定律，见[HJP76，定理2.1]，nnXi=1Yia。s--→ 0，（35）和中心极限定理，参见[HJP76，定理3.6]，√nnXi=1Yid-→ N（0，QQ）。（36）如果kYkH≤ 1 a.s.，然后（Yn）n≥1满足以下浓度不等式，称为霍夫丁不等式，见【Pin94，定理3.5】，P“nnXi=1YiH≥ τ#≤ 2e类-τn，τ>0。（37）B校样我们在这里收集正文的所有校样。B、 1嵌入运算符的性质为了完整性，我们首先回顾了第2节中定义的运算符J的一些基本性质，这些性质在本文中使用。操作员JJ*显然是非负的自伴迹类，因为J和J*是希尔伯特-施密特。

因此，存在一个ONS{vi | i∈ 一} 在LQ中，特征值uI>0，I∈ 一、 对于| I |=dim（Im J）的可数索引集I*), 这样的话PI∈IuI<∞ 和光谱表示jj*=xi∈Iuih·，viiQvi（38）有效。特征值ui的可和性意味着（38）中的收敛在希尔伯特-施密特范数意义下成立。根据开映射定理，自ker JJ*= ker J公司*, 我们得到JJ*isinvertible当且仅当ker J*= {0}和dim（LQ）<∞. 通过检查，ui=u-1/2iJ*在H和J中形成振动*Jui=u-1/2iJ*林俊杰*vi=uiui。那么，因为H=Im J*⊕ ker J和Im J*=span{ui | i∈ 一} ，J*J具有光谱表示J*J=Xi∈Iuih·，uiiHui。（39）与（38）一样，（39）中的收敛在希尔伯特-施密特范数意义下成立。此外，通过与JJ类似的参数*, 我们得到J*J是可逆的当且仅当kerj={0}且dim（H）<∞. 作为H=Im J的正向结果*⊕ker J和LQ=Im J⊕ker J公司*, 我们有J的正则展开式*J对应于（38）和（39），J*=xi∈Iu1/2ih·，viiQui，J=Xi∈Iu1/2ih·，uiiHvi。（40）备注B.1。注意，（7）当且仅当J:H时成立→ LQis Hilbert–Schmidt。实际上，[SS12，示例2.9]显示了一个可分离的RKHS H，其中J:H→ LQis紧，但不是Hilbert–Schmidt和kκk2，Q=∞.这个例子也表明κ/∈ H一般情况。B、 引理2.3Let{vi | i的证明∈ 一} 是第B.1节中给出的LQ中的ONS。那么f=Pi∈Ihf、vii2、Qvi。当fλ=J（J*J+λ）-1J*f、 J的谱表示（39）*J和J的正则展开式（40）*J给定fλ=Pi∈IuIuI+λhf，vii2，Qvi。因此，kf- fλk2，Q=xi∈IλuI+λhf，vii2，Qvi2，Q=Xi∈I（λuI+λ）hf，vii2，Q。结果遵循支配收敛定理。B、 3定理3.1的证明为了简单起见，我们假设采样量eq=Q，即w=1，并省略颚化符。

使用（17）和（18）可以直接扩展到一般情况。我们写了- fλ=（J*XJX+λ）-1J*Xf车型-（J）*J+λ）-1J*f=（J*XJX+λ）-1（J*Xf车型-J*f）- （（J*J+λ）-1.- （J）*XJX+λ）-1） J*f、 将其与初等因式分解（J*J+λ）-1.- （J）*XJX+λ）-1=（J*XJX+λ）-1（J*XJX公司- J*J） （J）*J+λ）-1、（41）我们获得Fx- fλ=（J*XJX+λ）-1（J*Xf车型-J*f-（J）*XJX公司- J*J） fλ）=（J*XJX+λ）-1nnXi=1ξi，（42），其中ξi=（f（X（i））- fλ（X（i）））kX（i）- J*（f）- fλ）是具有零均值的i.i.d.H值随机变量。此外，askξikH=（f（X（i））- fλ（X（i）））κ（X（i））+ZE（f（X）- fλ（x））（f（y）- fλ（y））k（x，y）Q（dx）Q（dy）- 2ZE（f（X（i））- fλ（X（i））（f（y）- fλ（y））k（X（i），y）Q（dy），（43）我们推断e[kξikH]=k（f-fλ）κk2，Q- 千焦*（f）-fλ）kH≤ k（f-fλ）κk2，Q≤ 2kfκk2，Q+2kfλkHkκk4，Q<∞, （44）我们在第三个不等式中使用了（8）。因此，（35）中的大数定律和（36）中的中心极限定理都适用：nnXi=1ξia。s--→ 0,√nnXi=1ξid-→ N（0，Cξ），（45），其中Cξ是ξ的协方差算子，由hcξh给出，hiH=k（f-fλ）Jhk2，Q- 高频- fλ，Jhi2，Q，h∈ H、 （46）从下面的（42）、（45）和引理B.2中，连续映射定理给出了fXa。s--→ fλ和Slutsky\'slemma给出√n（外汇）- fλ）d-→ N（0，Q）对于协方差算子Q=（J*J+λ）-1Cξ（J*J+λ）-使用（46），我们推断出hqh，hiH=k（f-fλ）J（J*J+λ）-1 HK2，Q- 高频- fλ，J（J*J+λ）-HI2，Q=VQ[（f-fλ）（J*J+λ）-1h]，如所述。引理B.2。我们有（J*XJX+λ）-1a。s--→ （J）*J+λ）-1，作为n→ ∞.引理B.2的证明。等式（41）表示k（J*J+λ）-1.- （J）*XJX+λ）-1公里≤ λ-2kJ*XJX公司- J*Jk。Henceit足以证明J*XJXa。s--→ J*J、 （47）因此，我们分解*XJX公司- J*J=nnXi=1Ξi，（48），其中Ξi=h·，kX（i）iHkX（i）-REh·，kxiHkxQ（dx）是具有零均值的i.i.d.随机希尔伯特-施密特算子。简单的计算表明KΞik=κ（X（i））+ZEk（X，y）Q（dx）Q（dy）- 2ZEk（x，x（i））Q（dx）。（49）因此eq[kΞik]=kκk4，Q-ZEk（x，y）Q（dx）Q（dy）<∞.

（50）因此，（35）中的大数定律适用，（47）如下。B、 4定理3.4的证明与定理3.1的证明一样，我们假设采样量eq=Q，即w=1，并省略了tildes。使用（17）和（18），对一般情况的扩展很简单。根据（42），我们推断kfX-fλkH≤λknPni=1ξikH，因此Q[kfX-fλkH≥ τ] ≤ QλknPni=1ξikH≥ τ.根据（43），我们推断ξikH≤ 2k（f-fλ）κk∞,Q≤ 2kfκk∞,Q+2kfλkHkκk∞,Q<∞,在第二个不等式中，我们使用了（8）。因此，（37）中的霍夫丁不等式适用，因此q“nnXi=1ξiH≥ τ#≤ 2e类-τn8k（f-fλ）κk∞,Q、 τ>0，（51），这意味着（20）。B、 5引理的证明3.6通过定义，我们得到eκ=κ/√w、 从（17）我们得到了keκk∞,Q≥ keκk2，eQ=kκk2，Q，当且仅当eκ为常数Q-a.s时相等。这证明了引理。B、 6引理6.1的HGRKHS证明，对应于高斯核kG（x，y）=e-αkx-yk。众所周知，HGI密集嵌入LQ中，参见【SFL10，命题8】。表示为与指数核kE（x，y）=eβx>y相对应的RKHS。表示为k（x，y）=kE（x，y）kG（x，y），表示为1=kE（·，0）∈ 他，我们从[PR16，定理5.16]得出结论，HG H、 这证明了引理。C有限维目标空间我们讨论第2节中的目标空间Lqf是有限维的情况。这是独立的，为计算样本估计量提供了基础，无需排序。假设Q=nPni=1δxi，其中δxdenotes是狄拉克点在x的测量值，对于点x的样本（不一定是不同的），x，xn公司∈ E、 对于某些n∈ N、 那么，对于任何可测核k:E×E，性质（7）成立→ R、 请注意，n=尺寸LQ≤ n、 当且仅当xi6=xjfor all i 6=j时，具有等式。我们现在更详细地讨论这个问题。让'x，“x”是E中的不同点，使得{x，…，\'x\'n}={x，…，xn}。定义指标集Ij={i | xi=\'xj}，j=1。

. . , 所以q=n？nXj=1？Ij？δ？xj。（52）然后（9）读取J*g=nP'nj=1k（·，'xj）'Ij'g（'xj），因此JJ*g（xi）=n（nXj）=1k（xi，xj）| Ij（g（xj）），i=1，\'\'n，g∈ LQ。（53）我们用vn表示与缩放欧几里德标量积hy相连的空间，zin=ny>z。我们定义线性算子S:H→ VnbySh=（h（x），h（xn））>，h∈ H、 （54）其伴随式由S给出*y=nPnj=1k（·，xj）yj，因此（SS*y） i=nnXj=1k（xi，xj）yj，i=1，n、 y型∈ 越南。（55）我们定义了线性算子P:Vn→ LQby P y（(R)xj）=Ij | Pi∈Ijyi，j=1，\'n，y∈ 越南。将其与（52）相结合，我们得到hP y，giQ=nP'nj=1'Ij'P y（'xj）g（'xj）=nPni=1yig（xi），对于任何g∈ LQ。因此，P的伴随式由P给出*g=（g（x），g（xn））>。从（54）来看，我们看到 即时消息处理程序*, （56）和PP*等于LQ上的恒等式运算符，P P*g=g，g∈ LQ。（57）我们声称J=P S，即下图换算：VnH LQPJS（58）的确，对于任何h∈ H、 我们有PSh（(R)xj）=Ij | Pi∈Ijh（xi）=h（(R)xj），这证明了（58）。结合（56）–（58），我们得到了K J=K S（59）和P*（JJ*+ λ） =（SS*+ λ） P*. 这对于计算下面的样本估计量是一个有用的结果。实际上，当λ>0时，我们得到（13）中的gλ由提升方程（SS）唯一确定*+ λ） P*gλ=P*f、 （60）为了计算fλ=J*gλ=S*P*gλ，我们可以用p*f∈ Vn给定，而不是相应的“n”×n维线性问题（13）。这一事实允许更快地实施样本估计，因为测试给定样本x的n是否<n，不需要xnis，请参见下面的引理C.1。C、 1无排序的计算作为上述的一个应用，我们现在讨论如何计算（18）中的样本估计量，而不将样本X进行排序。其中，我们计算了由ei给出的Vn的正交基{e，…，en}，j=δij，sothat hei，ejin=nδij，对于1≤ i、 j≤ n、 我们用f=（ef（X（1））。

，ef（X（n））>，并通过Kij=ek（X（i），X（j））定义正酰胺化合物n×n-矩阵K。从（55）中，我们看到NK是SES的矩阵表示*: 越南→ 越南。综上所述，我们得到了引理4.1的以下替代方法。引理C.1。独特的解决方案g∈ Rnto（nK+λ）g=f，（61）给出fX=nPni=1k（·，X（i））gi√w（X（i））。此外，（25）和（61）的解由gi=| Ij关联|-1/2GJ适用于所有i∈ Ij，j=1，\'-n.备注C.2。如果X（i）6=X（j），对于所有i 6=j（即，如果n=n），则K=K，f=f，以及引理4.1和c。1重合。否则，它们会提供不同的计算方案。D有限维RKHS我们更详细地讨论了第2节中的RKHS H为有限维的情况。特别是，我们将我们的一些结果推广到没有正则化的情况，λ=0。设{φ，…，φm}是E上kφik2，Q<∞, i=1，m、 对于一些m∈ N、 表示特征图φ=（φ，…，φm）>：E→ Rmand定义可测量内核k:E×E→ R乘以k（x，y）=φ（x）>φ（y）。通过检验，（7）保持和{φ，…，φm}是H的ONB，这符合引理A.1（i）。因此，任何函数h∈ H可以用坐标向量H=hh，φiH表示∈ Rm，h=φ>h。运算符J*: LQ公司→ H的形式为J*g=φ>hφ，giQ。因此J*J:H→ H满意度J*Jφ>=φ>hφ，φ>iQ，因此可以用m×m-Gram矩阵xhφ，φ>iQ表示。也就是说，J*Jh=J*Jφ>h=φ>hφ，φ>iQh，对于h∈ H、 此后，我们假设kerj={0}，因此J*J:H→ 根据B.1节，H是可逆的。这等价于{Jφ，…，Jφm}是LQ中的一个线性独立集。我们将其转换为ONS。考虑正交矩阵S和Dii>0的对角矩阵DW的光谱分解hφ，φ>iQ=SDS>。定义函数ψi∈ H乘以ψ>=（ψ，…，ψm）=φ>SD-1/2. 然后hψ，ψ>iQ=D-1/2S>hφ，φ>iQSD-1/2=Im，因此{Jψ。

，Jψm}是LQ中的一个介子。此外，我们还有J*Jψ>=J*Jφ>SD-1/2=φ>hφ，φ>iQSD-1/2=ψ>D，因此vi=Jψ是JJ的特征向量*特征值ui=Dii>0，i=1，m、 （62）谱分解（38）保持指数集I={1，…，m}。谱分解（39）中对应的ONB由（u，…，um）=J给出*Jψ>D-1/2=ψ>D1/2=φ>S。注意，我们可以直接用旋转特征映射u，k（x，y）=u（x）>u（y）来表示核，与引理A.1（i）一致。D、 1无正则化的近似值，如J*J:H→ H是可逆的，因此问题（10）对于λ=0总是有唯一的解，这与投影f=（J）明显重合*J）-1J*f、 D.2无正则化的样本估计如第3节所述，我们让n∈ N和X=（X（1），X（n））是具有X（i）的i.i.d.E值随机变量的样本~公式。我们从此假设λ=0，因此我们必须解决ej*Xejxis不可逆。在这种情况下，我们将用“（eJ*XeJX）-1“与Ej的倒数重合的任何线性运算符oneH*XEJX仅限于ImeJ*十、呃。因此，efX=（eJ*XeJX）-1eJ*Xf总是被很好地定义，并用λ=0和Q替换为eqx来解决问题（10）。我们首先证明了我们的极限定理是成立的。第D.5节给出了证明。定理D.1。定理3.1字面上适用于λ=0，备注3.2（但不是备注3.3）也是如此。我们用u=mini表示∈IuI>0 J的最小特征值*J、 见（62）。定理3.4中的有限样本保证修改如下。第D.6节给出了证明。定理D.2。

对于任何η∈ （0，1），我们有KFx- fkH<p2 log（4/η）k（1/w）（f- f） κk∞,Q（1- C（η）/√n） u√n（63），采样概率Q至少为1- η、 式中，C（η）=2plog（4/η）u-1keκk∞,Q、 对于所有n>C（η）。定理D.2类似于[CM17，定理2.1（iii）]，但相反，它扩展到假设（15）和（16）下的无界f，并为样本误差（集η=n）提供了学习率O（（log nn）1/2-r、 对于某些r>0）。D、 3计算我们现在重新讨论第4节中有限维RKHS H的情况。注意eφj=φj/√w形成anONB ofeH。我们通过Vij=| Ii | 1/2eφj（| X（i）），定义了“n×m矩阵V”，因此K=V V>，如第4节所示。那么V是ejx的矩阵表示：eH→ LeQX，也称为设计矩阵，nv>是ej的矩阵表示*十： LeQX公司→呃。注意，k是可处理的，当且仅当等式[φ（X）| Ft]以闭合形式给出所有t时。我们得到以下结果，对应于引理4.1，适用于任何λ≥ 在λ=0的情况下，我们假设kereJX={0}，所以ej*XeJXis可逆。引理D.3。独特的解决方案h∈ Rmto（nV>V+λ）h=nV>f，（64）由于LeQXis的正交基{ψ，…，ψ′n}未归一化，矩阵转置V>按n缩放。给出fX=φ>h。问题（10）的示例版本，minh∈Rm（nkV h- f k+λkhk），（65）有唯一的解h∈ Rm，这与（64）的解一致。此外，如果核k在nvx，t=EQ[φ（X）| Ft]>h，t=0，T、 （66）以闭合形式给出。最小二乘问题（65）可以使用随机梯度方法有效解决，如[ZF13，FGNS19]中的随机化扩展Kaczmarz算法。D、 4无排序的计算继第C.1节之后，我们通过Vij=eφj（X（i）），定义n×m矩阵V，使K=V V>。注意，V是es:eH的矩阵表示→ Vnin（54），nv>是ES的矩阵表示*: 越南→呃。因此，从（59）中，我们推断ker V=kereJX。

因此，或通过直接验证，我们进一步获得V>V=V>V，V>f=V>f和kV h- f k=kV h- 综上所述，我们由此推断引理D.3字面上适用于V和f，而不是V和f。D、 5定理D.1的证明在定理3.1的证明中，为了简单起见，我们假设采样量eq=Q，即w=1，因此我们可以省略颚化符。We fixδ∈ [0，1），并确定采样事件Sδ={kJ*XJX公司- J*Jk公司≤ δ/k（J*J）-1k} E、 下面的引理收集了Sδ的一些性质。引理D.4。（i） 关于Sδ，算子J*XJX:H→ H是可逆的，k（J*XJX）-1公里≤k（J*J）-1k1- δ. （67）（ii）Sδ的采样概率有界于byQ【Sδ】以下≥ 1.- 2e类-δn4kκk∞,Qk（J*J）-1k。（68）引理D.4的证明。（i） ：我们写J*XJX=J*J（J*J）-1J*XJX，所以J*XJXis可逆if and onlyif（J*J）-1J*XJXis可逆。如果k（J*J）-1千焦*J- J*XJXk≤ δ、 然后k1- （J）*J）-1J*XJXk≤ δ、 证明了（J）的可逆性*J）-1J*XJX，也就是J*XJX。此外，使用1的Neumann级数- （J）*J）-1J*XJXwe获得（67）。（ii）：我们分解J*XJX公司- J*J如（48）所示。从（49）我们推断kΞik≤√2kκk∞,Q<∞. 因此，霍夫丁不等式（37）适用，我们得到Q【kJ*XJX公司- J*Jk公司≥ τ] ≤ 2e类-τn4kκk∞,Q、 （69）由于VN的正交基{e，…，en}未规范化，因此矩阵转置V>按N缩放。这同样等于（68）。根据引理D.4（i），现在通过检查（41）和（42）保持Sδ，λ=0。我们因此获得了全球身份- f=X+（J*XJX）-1nnXi=1ξi，（70），其中H值随机变量X=fX-f-（J）*XJX）-1nPni=1ξisatis fiesSδ上的X=0。鉴于（68）和Borel–Cantelli引理，我们因此√nXa。s--→ 0，作为n→ ∞.注意，（43）–（46）在λ=0时明显保持不变。定理D.1现在与定理3.1的证明一样，λ=0，（42）替换为（70），引理B.2替换为以下引理。引理D.5。

我们有（J*XJX）-1a。s--→ （J）*J）-1，作为n→ ∞.引理D.5的证明。设τ>0。我们有q[k（J*XJX）-1.- （J）*J）-1公里≥ τ]=Q[k（J*XJX）-1.- （J）*J）-1公里≥ τ、 Sδ]+Q[E\\Sδ]。（71）利用（41）和（67），我们得到了关于Sδ，k（J*XJX）-1.- （J）*J）-1公里≤k（J*J）-1k1- δkJ*XJX公司- J*Jk。将其与（69）结合，得到q[k（J*XJX）-1.- （J）*J）-1公里≥ τ、 Sδ]≤ Qk（J*J）-1k1- δkJ*XJX公司- J*Jk公司≥ τ≤ 2e类-τ(1-δ） n4kκk∞,Qk（J*J）-1k。将其与（68）和（71）结合起来，我们推断q[k（J*XJX）-1.- （J）*J）-1公里≥ τ ] ≤ 2e类-τ(1-δ） n4kκk∞,Qk（J*J）-1k+2e-δn4kκk∞,Qk（J*J）-1k。因为右侧可与n求和≥ 1对于任何τ>0，引理遵循Borel–Cantellilemma。D、 6定理D.2的证明在定理3.4的证明中，我们假设采样量eq=Q，即w=1。使用（17）和（18）可以直接扩展到一般情况。我们假设采样事件Sδ如引理D.4所示，并且τ>0。我们有Q[kfX- fkH公司≥ τ] ≤ Q[kfX- fkH公司≥ τ、 Sδ]+Q[E\\Sδ]。（72）利用（42）和（67），我们得到了关于Sδ，kfX- fkH公司≤k（J*J）-1k1- δknnXi=1ξikH。将其与（51）结合，我们得到q[kfX- fkH公司≥ τ、 Sδ]≤ Q“k（J*J）-1k1- δnnXi=1ξiH≥ τ#≤ 2e类-τ(1-δ） n8k（f-f） κk∞,Qk（J*J）-1k。将其与（68）和（72）结合起来，我们推断q[kfX- fkH公司≥ τ] ≤ 2e类-τ(1-δ） n8k（f-f） κk∞,Qk（J*J）-1k+2e-δn4kκk∞,Qk（J*J）-1k。现在我们选择δ=kκk∞,Qτ√2k（f-f） κk∞,Q+kκk∞,Qτ，以便右侧的两个指数匹配。因此，我们得到q[kfX- fkH公司≥ τ] ≤ 4e-δn4kκk∞,Qk（J*J）-1k=4e-τn4k（J*J）-1公里(√2k（f-f） κk∞,Q+kκk∞,Qτ）。直接重写给出了（63），其中我们使用了k（J*J）-1k=u-1，见（39）。与回归法的比较本文提出的方法给出了整个价值过程的估计。实际上，人们可能只对某个固定时间t（例如t=1）的投资组合价值vt的估计感兴趣。

在[GY04]中，描述了两种最小二乘蒙特卡罗方法，以在美国期权定价的背景下处理这个问题。第一种方法称为“稍后回归”，通过对有限个基函数的投影来近似Payoff函数f。基函数的选择方式使其在t=1时的条件期望为闭合形式。我们的方法可以被视为该方法的双重扩展，因为它还涵盖了基函数的数量可能是有限的情况，并在任何时间t给出了投资组合价值vt的封闭式估计。第二种方法称为“立即回归”，包含在仅依赖于感兴趣变量x的有限个基函数上的投影的近似Vby方法∈ E、 我们比较了我们的方法，该方法对应于“稍后回归”，并给出了估计量VX，1in（26），与其现在回归变量，其估计量我们用VnowX，1表示。在此，我们将结合第6节中研究的三个示例简要讨论如何构建VnowX，1并实现它。要构建VnowX，1只需对先前的VX构建1进行一些更改。我们直接从Q中取样，得到X=（X（1），·····，X（n））和向量f=（f（X（1）），····，f（X（n）））>。对于t=1，VnowX，1的表达式由（26）给出，其中核k的形式为（27），t替换为1，因此其域为E×E。而不是使用整个样本X来构造（25）中的矩阵k，只需要（t=1）-横截面X=（X（1），····，X（n））。由于采样度量值Q是高斯的，因此对于所有j=1，…，属性（23）适用于样本Xso，即'n=n，'X（j）=X（j）和'Ij'=1，n

（26）中嵌入的条件核归结为M（X（j））=k（X，X（j））。表5显示了VnowX，1的归一化LQ误差，并将其与表2中VX，1的相应值进行了比较。我们观察到，对于所有三个例子，我们的回归后估计比回归现在估计性能更好。图4证实了这一结论，图4对应于图1、2和3。如脚注13所述，我们省略了X。（a） 最小输入：VX、1和VnowX的归一化LQ误差，1in%（b）最小输入：VX、1和VnowX的去渲染Q-Q图，1（c）最大调用：VX、1和VnowX的归一化LQ误差，1in%（d）最大调用：VX、1和VnowX的去渲染Q图，1（e）屏障反向转换：VX、1和VnowX的归一化LQ误差，1in%（f）屏障反向转换：VX、1和VnowX的去渲染Q图，1：VX、1和VnowX的比较OWX、，1γ=0。在去趋势Q-Q图中，蓝色、青色和蓝绿色（红色、橙色和粉色）点是使用稍后回归（立即回归）估计器和测试数据构建的。[0%，0.01%表示{0.001%，0.002%，0.009%}，[0.01%，1]表示{0.01%，0.02%，0.99%}，[1%，99%]表示{1%，2%，99%}级别的分位数，（99%，99.99%]指{99.01%，99.02%，·····，99.99%}级别的分位数，（99.99%，100%]指{99.991%，99.992%，····，100%}级别的分位数。Payoff回归现在回归laterMin put 1.946 1.827Max-call 2.606 2.500Barrier reverse convertible 0.2806 0.2506表5：归一化LQ误差kV-bVk2，对于BV=VnowX，1，VX，1，γ=0，Q/Vin%。表6显示了完全估计VnowX，1和VX，1的计算时间。计算是在运行在2.3 GHz的Skylake处理器上进行的，使用14核和100 GB RAM。我们发现，我们的估计比现在回归估计需要更少的计算时间。

事实上，请注意回归问题的维数（等于训练样本量n=20000）对于这两种方法是相同的。Payoff回归现在回归laterMin put 3122 2756最大调用3288 2570 Barrier reverse convertible 3683 2756表6：估算样本量n=20000时VnowX，1和VX，1γ=0的计算时间（以秒为单位）。因此，无论是在通过归一化LQ误差测量的V估计精度方面，还是在计算时间方面，我们的回归后估计优于回归后估计，因此更适合于港口评估任务。这可能看起来很奇怪，因为RegressionLater对整个价值过程V的估计是一个高维问题（路径空间维度12表示最小投入和最大调用，36表示屏障反向转换），然而，Vby回归的直接估计现在是一个小得多的维数问题（状态空间维数6表示最小put和最大call，3表示barrier reverse convertible）。现在回归性能较差的一个原因可能是，训练数据f表示对真实值V（X（1））、·····、V（X（n））的噪声观测，我们无法直接观测到。这与我们的后回归方法形成对比，其中f是目标函数f的真实值。我们的发现表明，对于投资组合估值，首先在高维主观测值和无噪声观测值的情况下估计支付函数f更为有效，而不是在低维域但有噪声观测值的情况下直接估计时间t=1值函数。风险措施如何？表7和表8显示了标准化风险值和Lx=bV的预期短缺-英属维尔京群岛-LX，其中BVT代表VX，tor VnowX，t，t=0，1。

我们观察到，在多头头寸的所有风险度量估计中，regress LATER优于regress now，而对于空头头寸的风险度量估计，regress now在6个案例中的4个案例中表现最好。这种好坏参半的结果与之前观察到的后回归优于现在回归的优势有些不一致。另一方面，它是非免费午餐定理[WM97]的一个例证，该定理指出，对于投资组合估值和风险管理，不存在在所有情况下都优于所有其他方法的单一最佳方法。我们注意到，对于回归nowestimator，可以推导出与定理3.4中类似的有限样本保证，但仅在f和κ的有界性假设下。事实上，有界性假设这些观察结果与图4中去趋势Q-Q图的比较一致。事实上，图4b表明，现在使用回归比以后使用回归更好地估计Vis的右尾，这似乎与-九、然而，由于这些风险度量不仅作用于BV，而且还依赖于BV，因此与后来通过回归获得的最佳风险度量没有冲突。事实上，如果我们计算出bV的分位数-B和V-Vand绘制了相应的去趋势Q-Q图，然后我们将获得图4b，水平位移为-V的Vanda垂直位移-英属维尔京群岛。

我们的计算表明，对于现在回归和以后回归，垂直位移向下的幅度是相同的，这解释了以后回归在风险度量方面比现在回归表现更好。PAYOFF VaR99.5%（L）VaR99.5%（LX）VaR99.5%(-五十） VaR99.5%(-LX）最小看跌期权（立即回归）2063 2098 2058 1869最小看跌期权（稍后回归）2063 2083 2058 2123最大看跌期权（立即回归）2800 2950 3071 3109最大看跌期权（稍后回归）2800 2802 3071 2961障碍反向可转换证券（立即回归）264.1 219.7 99.83 92.50障碍反向可转换证券（稍后回归）264.1 264.6 99.83 85.94表7：标准化真实和估计风险值VaR99.5%（L）/V、VaR99.5%（LX）/V、VaR99.5%(-五十） /V和VaR99.5%(-LX）/v，γ=0。所有值均以基点表示。支付99%（L）99%（LX）99%(-五十） ES99%(-LX）最小认沽权（立即回归）2141 2179 2118 1937最小认沽权（稍后回归）2141 216 8 2118 2219最大认沽权（立即回归）2890 3044 3205 3231最大认沽权（稍后回归）2890 2880 3205 3090 barrier reverse convertible（立即回归）284.7 231.8 101.2 92.83 barrier reverse convertible（稍后回归）284.7 283.2 101.2 86.63表8：标准化真实和估计的预期短缺ES99%（L）/V、ES99%（LX）/V、ES99%(-五十） /V和ES99%(-LX）/v，γ=0。所有值均以基点表示。（15） 和（16）是不够的，因为它们不能保证噪声f（X）的有界性- 五、 在文献中，对噪声的假设放松了对f的有界性假设，例如参见[RS17]。参考文献【AB99】Charalambos D.Aliprantis和Kim C.Border。有限维分析。Springer Verlag，柏林，第二版，1999年。搭便车的向导。20【Aro50】N.Aronszajn。再生核理论。变速箱。美国。数学Soc。，68:337–404, 1950. 塞巴斯蒂安·贝克尔、帕特里克·切里迪托和阿努夫·詹岑。深度最佳停车。《机器学习研究杂志》，20（74）：2019年1-25日。

12、19【BDM15】马克·布罗迪、杜一平和夏马克·C·莫阿莱米。通过回归进行风险估计。操作。第63（5）号决议：1077–10972015年。斯蒂芬·伯格曼。¨在Ebene和desRaumes nach Orthogonalfunktionen的harmonischen Funktionen和desRaumes中使用Uber die Entwicklung der harmonischen Funktionen der Ebene和desRaumes nach Orthogonalfunktionen。数学安。，86(3-4):238–271, 1922. 4【BGV92】伯哈德·E·博泽、伊莎贝尔·M·盖恩和弗拉基米尔·N·瓦普尼克。最佳利润分类的训练算法。《第五届计算学习理论年度研讨会论文集》，COLT\'92，第144-152页，美国纽约州纽约市，1992年。ACM。4【Bis06】克里斯托弗·M·毕晓普。模式识别和机器学习。信息科学与统计。斯普林格，纽约，2006年。4[BPR07]弗兰克·鲍尔、谢尔盖·佩雷弗泽夫和洛伦佐·罗萨斯科。学习理论中的正则化算法。J、 复杂性，23（1）：52–722007。9[BTA04]AlainBerlinet和ChristineThomasAgnan。在概率统计中再现核希尔伯特空间。01 2004. 5、20【CDV07】A.Caponnetto和E.De Vito。正则化最小二乘算法的最优速率。建立计算机。数学7(3):331–368, 2007. 4、7、9【CF17】Mathieu Cambou和Damir Filipovi\'c.模型不确定性和情景聚合。数学《金融》，27（2）：534–5672017。3【CF18】Mathieu Cambou和Damir Filipovi\'c.复制投资组合方法进行资本计算。财务Stoch。，22(1):181–203, 2018. 4[CM17]Albert Cohen和Giovanni Migliorati。最优加权最小二乘法。SMAI J.Comput。数学3:181–203, 2017. 费利佩·库克和史蒂夫·斯梅尔。学习理论中正则化参数的最佳选择：关于偏差-方差问题。建立计算机。数学2(4):413–428, 2002. 菲利佩·库克和史蒂夫·斯梅尔。关于学习的数学基础。公牛美国。数学Soc。（N.S.），第39（1）：1–492002年。4、9【CZ07】菲利佩·库克和丁宣周。

学习理论：近似理论观点，剑桥应用和计算数学专著第24卷。剑桥大学出版社，剑桥，2007年。斯蒂芬·斯梅尔的前言。4、20【DAV15】DAV。代理模型f¨ur die Risikokapitalberechnung。技术报告，Ausshuss Investmentder Deutschen Aktuarvereinigung（DAV），2015年。3【DFS03】D.Du ffe、D.Filipovi\'c和W.Schachermayer。财务流程和应用。安。应用程序。概率。，13(3):984–1053, 2003. 11【DPZ14】朱塞佩·达·普拉托和杰里·扎布奇克。有限维随机方程。数学百科全书及其应用。剑桥大学出版社，2014年第2版。[DVRC+05]埃内斯托·德维托、洛伦佐·罗萨斯科、安德里亚·卡蓬内托、乌姆贝托·德乔瓦尼尼和弗朗西斯科·奥多内。作为反问题从示例中学习。J、 马赫数。学Res.，6:883–9042005.4、6、9【DXH+14】Bo Dai、Bo Xie、Niao He、Yingyu Liang、Anant Raj、Maria Florina F Balcan和Le Song。通过双随机梯度的可伸缩核方法。在Z.Ghahramani、M.Welling、C.Cortes、N.D.Lawrence和K.Q.Weinberger主编的《神经信息处理系统进展》27中，第3041-3049页。Curran Associates，Inc.，2014年。10[EHN96]海因茨·W·恩格尔、马丁·汉克和安德烈亚斯·纽鲍尔。反问题的正则化，《数学及其应用》第375卷。Kluwer学术出版社集团，多德雷赫特，1996年。6【FAF20】Lucio Fernandez Arjona和Damir Filipovi\'c.高维问题投资组合定价和风险管理的机器学习方法。04 2020. 4、13【FGNS19】达米尔·菲利波维奇（Damir Filipovi\'c）、凯瑟琳·格劳（Kathrin Glau）、尤吉·纳卡萨卡（Yuji Nakatsukasa）和弗朗西斯科·斯塔蒂（Francesco Statti）。将功能近似与蒙特卡罗模拟相结合，实现有效的期权定价。工作文件，2019年。汉斯·福尔默和亚历山大·希德。《随机金融》，德格鲁特数学研究第27卷。

Walter de Gruyter&Co.，柏林，扩展版，2004年。介绍不明确的时间。3、14【GJ10】迈克尔·高迪和桑德普·朱内贾。投资组合风险度量中的嵌套模拟。《管理科学》，56（10）：1833–18482010。4【GY04】保罗·格拉斯曼和于斌。模拟美式期权：立即回归还是稍后回归？《2002年蒙特卡罗和准蒙特卡罗方法》，第213–226页。柏林斯普林格，2004年。5、19、30【HJP76】J.Hooffmann-Jorgensen和G.Pisier。Banach空间中的大数定律和中心极限定理。安。概率，4（4）：587–5991976。布莱恩·吉格斯和安托万·萨文。深度分析：AI风险管理。2019年。全球衍生，2019年。布莱恩·吉格斯和安托万·萨文。差异机器学习，2020年。3[HSS08]托马斯·霍夫曼（Thomas Hofmann）、伯恩哈德·斯科尔科夫（Bernhard Sch¨olkopf）和亚历山大·斯莫拉（Alexander J.Smola）。机器学习中的核心方法。安。统计员。，36(3):1171–1220, 2008. 4[Kat95]Tosio Kato。线性算子的摄动理论。数学经典。Springer Verlag，柏林，1995年。重印1980年版。20【LHW+16】路静、海海海文、王家磊、赵培林和刘志勇。大规模在线内核学习。《机器学习研究杂志》，17（47）：1–432016年。兰伯顿和伯纳德·拉佩尔。随机微积分应用于金融导论，第二版。12 2011. 19【LRRC18】林俊宏、亚历山德罗·鲁迪、洛伦佐·罗萨斯科和沃尔坎·切夫赫。希尔伯特空间上最小二乘回归谱算法的最优速率。应用与计算谐波分析，2018年。4、9【Mer09】J.Mercer。正负型函数及其与积分方程理论的联系。伦敦皇家学会哲学学报。A系列，包含数学或物理性质的论文，209:415–4461909。亚历山大J。

McNeil、Rdiger Frey和Paul Embrechts。量化风险管理：概念、技术和工具。普林斯顿大学出版社，美国，2015年。14【MV18】朱利安·迈拉尔和让·菲利普·维特。采用核方法的机器学习。课堂讲稿，2018年1月。10【MXZ06】Charles A.Michelli、Yuesheng Xu和Haizhang Zhang。通用内核。J、 马赫数。学Res.，7:2651–266720006年。6【NF16】Yu Nishiyama和Kenji Fukumizu。特征核和不完全可分分布。《机器学习研究杂志》，17（180）：1-282016。11【NUWZ18】埃里克·诺瓦克、马里奥·乌尔里希、亨利克·沃兹尼亚科夫斯基和张舜。RDS上Soblev空间的再生核及其在嵌入常数和可处理性方面的应用。《分析与应用》，16（05）：693–7152018。11【NW14】Jan Natolski和Ralf Werner。复制投资组合的不同方法的数学分析。欧元。精算师。J、 ，4（2）：411–4352014。4【Pin94】松叶木犀草。Banach空间中鞅分布的最优界。安。概率。，22(4):1679–1706, 1994. 21【PR16】Vern I.Paulsen和Mrinal Raghupathi。《再生kernelHilbert空间理论导论》，剑桥高等数学研究第152卷。剑桥大学出版社，剑桥，2016年。4、5、6、7、10、20、24安托恩·佩尔森和贾妮娜·施韦泽。LSMC和复制投资组合在保险责任建模中的差异。欧元。精算师。J、 ，6（2）：441–4942016。4【PVG+11】F.Pedregosa、G.Varoquaux、A.Gramfort、V.Michel、B.Thirion、O.Grisel、M.Blondel、P.Prettenhofer、R.Weiss、V.Dubourg、J.Vanderplas、A.Passos、D.Cournapeau、M.Brucher、M.Perrot和E.Duchesnay。Scikit学习：Python中的机器学习。《机器学习研究杂志》，12:2825–2830，2011年。13【RBDV10】洛伦佐·罗萨斯科、米哈伊尔·贝尔金和埃内斯托·德维托。关于积分算子的学习。J、 马赫数。学

Res.，11:905–9342010。4【RCR17】亚历山德罗·鲁迪、路易吉·卡拉蒂诺和洛伦佐·罗萨斯科。Falkon：一种最优的大规模核方法。在I.Guyon、U.V.Luxburg、S.Bengio、H.Wallach、R.Fergus、S.Vishwanathan和R.Garnett中，编辑，《神经信息处理系统进展》，第30卷，第3888–3898页。Curran Associates，Inc.，2017年。18【RL16】J.Risk和M.Ludkovski。用于定价和对冲长寿风险产品的统计模拟器。保险数学。经济体。，68:45–60, 2016. Jimmy Risk和Michael Ludkovski。用于投资组合尾部风险度量的序列设计和空间建模。暹罗J.金融数学。，9(4):1137–1174, 2018. 4【RR07】阿里·拉希米和本杰明·雷希特。大型内核机器的随机特征。《第20届神经信息处理系统国际会议论文集》，NIPS\'07，第1177–1184页，美国纽约州红钩市，2007年。Curran Associates股份有限公司18【RS17】Abhishake Rastogi和Sivananthan Sampath。一般源条件下正则化学习算法的最优速率。《应用数学和统计学前沿》，3:32017。4、9、33【RW06】CE。拉斯穆森和CKI。威廉姆斯。机器学习的高斯过程。自适应计算和机器学习。麻省理工学院出版社，马萨诸塞州剑桥，美国，2006年1月。13【RY94】丹尼尔·雷沃兹和马克·约尔。《连续鞅和布朗运动》，Rundlehren der Mathematischen Wissenschaften《数学科学基本原理》第293卷。Springer Verlag，柏林，第二版，1994年。2【Sat99】Ken iti Sato。《列维过程和不完全可分分布》，剑桥高等数学研究院第68卷。剑桥大学出版社，剑桥，1999年。翻译自1990年日文原文，由作者修订。10、11【SC08】英戈·斯坦瓦特和安德烈亚斯·克里斯特曼。支持向量机。信息科学与统计。

斯普林格，纽约，2008年。4、20【SFL10】Bharath Sriperumbudur、Kenji Fukumizu和Gert Lanckriet。关于测度的普适性、特征核与rkhs嵌入的关系。2010年5月13日至15日，意大利撒丁岛Chia Laguna Resort，Yee Whye Teh和MikeTitterington主编，《第十三届国际艺术情报与统计会议论文集》，机器学习研究论文集第9卷，第773-780页。PMLR。6、24[SGF+10]巴拉斯·K·斯里普伦布杜、阿瑟·格雷顿、福水健二、伯恩哈德·朔尔科夫和格特·R·G·兰克里特。希尔伯特空间嵌入与概率测度度量。J、 马赫数。学Res.，11:1517–15612010年8月。6、10【SS00】亚历克斯·J·斯莫拉和伯恩哈德·斯科尔科夫。机器学习的稀疏贪婪矩阵近似。第911–918页。摩根·考夫曼，2000年。18【SS02】B.Scholkopf和AJ。斯莫拉。核学习：支持向量机、正则化、优化等。自适应计算和机器学习。麻省理工学院出版社，马萨诸塞州剑桥，美国，2002年12月。4【SS05】英戈·斯坦瓦特和克林特·斯科维尔。支持向量机的快速率。《学习理论》第3559卷《计算机课堂讲稿》。Sci。，第279-294页。柏林斯普林格，2005年。9[SS12]Ingo Steinwart和Clint Scovel。一般域上的默瑟定理：关于测度、核和RKHSs之间的相互作用。施工。约35（3）：363–4172012年。4、5、22【SSM98】伯恩哈德·斯科尔科夫（BernhardSch¨olkopf）、亚历山大·斯莫拉（AlexanderSmola）和克劳斯·罗伯特·穆勒（KlausRobertM¨uller）。非线性分量分析是一个核特征值问题。神经计算，10（5）：1299–13191998。4[Ste02]Ingo Steinwart。关于核对支持向量机一致性的影响。J、 马赫数。学第2（1）号决议：第67–93页，2002年。6【Sun05】孙宏伟。非紧集上RKHS的Mercer定理。J、 复杂性，21（3）：337–3492005。4【SZ07】史蒂夫·斯梅尔和丁宣周。

学习理论通过积分算子及其近似进行估计。施工。约26（2）：153–172，2007年。9【WM97】D.H.Wolpert和W.G.Macready。没有免费的优化午餐定理。变速箱。进化。Comp，1（1）：67–821997年4月。32[WS01]克里斯托弗·威廉姆斯和马蒂亚斯·西格。使用nystrom方法来加速kernelmachines。T.Leen、T.Dieterich和V.Tresp，《神经信息处理系统进展》，第13卷，第682-688页。麻省理工学院出版社，2001年。18【WYZ06】吴强、Yiming Ying、丁宣周。最小二乘正则化回归的学习率。建立计算机。数学6(2):171–192, 2006. 4、9【WYZ07】吴强、Yiming Ying和丁宣周。多核正则化分类器。J、 复杂性，23（1）：108–134，2007年。9【WZ06】吴强和丁宣周。支持向量机分类分析。J、 计算机。肛门。应用程序。，8(2):99–119, 2006. 9【ZF13】Anastasios Zouzias和Nikolaos M.Freris。求解最小二乘法的随机扩展Kaczmarz。暹罗J.矩阵分析。应用程序。，34(2):773–793, 2013. 28