Van Der Vaart and Wellner（1996）引理2.3.1）我们有：supγ∈Γsupθ∈Θmaxλ∈ΛE（Pnh`b（·，θ，γ，λ）- phb（·，θ，γ，λ））≤ E supγ∈Γsupθ∈Θmaxλ∈ΛPnh`b（·，θ，γ，λ）- phb（·，θ，γ，λ）≤ 2E | | Rn | |（H`b），（b.18），其中最终的外部期望是一个联合期望，也接管了Rademacher随机变量。现在让λ*(θ, γ),^λ(θ, γ), θ*(γ),^θ(γ), γ*^γ如备注B.1所示，并设d（ψ）=^γ。

那么我们有：EI`b[~n]（d（ψ））=E infθ∈Θmaxλ∈λphb（·，θ，d（ψ），λ）（根据定理3.1），=E infθ∈ΘP h`b（·，θ，d（ψ），λ）*（θ，d（ψ）），（自λ）*对于任意（θ，γ）），=EP h`b（·θ），在P处是最优的*（d（ψ）），d（ψ），λ*(θ*, d（ψ）））-ε、 （自θ）*是ε-（P，λ）处的最优*) 对于任何γ），≥ EP h`b（·θ）*（d（ψ）），d（ψ），^λ（θ）*（d（ψ）），d（ψ）））-ε、 （自λ起）*对于任何（θ，γ）），在P处都是最佳的，≥ EPnh`b（·θ）*（d（ψ）），d（ψ），^λ（θ）*（d（ψ）），d（ψ）））-2E | | Rn | |（H`b）-ε、 （根据（B.18）），≥ EPnh`b（·，^θ（d（ψ）），d（ψ），^λ（^θ（d（ψ）），d（ψ）））-2E | | Rn | |（H`b）-2ε（因为对于任何γ，^θ在（Pn，^λ）处是ε-最优的），为了注意可测性问题，我们可以使用Kosorok（2008）中引理6.10中给出的马尔可夫不等式的外部测度版本。≥ EPnh`b（·，^θ（γ）*), γ*,^λ(^θ(γ*), γ*)) -2E | | Rn | |（H`b）-3ε（因为d（ψ）在（Pn，λ，θ）处是ε-最优的），≥ EPnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -2E | | Rn | |（H`b）-3ε（因为对于任何（θ，γ），λ在Pn是最优的），≥ EP h`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -4E | | Rn | |（H`b）-3ε（通过（B.18）），≥ EP h`b（·θ）*(γ*), γ*, λ*(θ*(γ*), γ*)) -4E | | Rn | |（H`b）-4ε（自θ起）*ε在（P，λ）处是最优的*) 对于任何γ），≥ E supγ∈ΓP h`b（·θ）*(γ), γ, λ*(θ*(γ), γ)) -4E | | Rn | |（H`b）-5ε（自γ）*ε在（P，λ）是最优的*, θ*)),≥ E supγ∈Γinfθ∈ΘP h`b（·，θ，γ，λ）*(θ, γ)) - 4E | | Rn | |（H`b）-5ε（自θ起）*ε在（P，λ）是最优的*) 对于任何γ），≥ E supγ∈Γinfθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- 4E | | Rn | |（H`b）-5ε（自λ起）*对于任何（θ，γ）），在P处都是最佳的，≥ E supγ∈ΓI`b[Γ]（γ）- 4E | | Rn | |（H`b）-5ε（根据定理3.1）。由于ε>0可以取任意小，我们得出结论：Esupγ∈ΓI[Γ]（γ）- I[~n]（d（ψ））≤ 4E | | Rn | | |（H`b）。

（B.19）因此，有必要限制Rademacher复杂性，由E | | Rn | |（H`B）=E给出supγ∈Γsupθ∈Θmaxλ∈ΛnnXi=1ξi英菲∈G-（yi，zi，θ）infy？我∈G（yi，zi，ui，θ，γ）~n（vi）+u*JXj=1λjmj（yi，zi，ui，θ）！.如果H`bis在对称条件下不闭合，则将其重新定义为H`b∪ (-H`b）；出于我们的目的，这不会失去一般性，因为这个操作只能增加E | | Rn | | |（H`b）的值。然后我们有来自莱玛的消息。7对于任何ε>0:E | | Rn | | |（H`b）≤2ε√n+2Diamψ，2（H`b）rlog n（ε，H`b，| |·| |ψ，2）n.（b.20）由于函数类H`bis一致有界，我们有直径ψ，2（H`b）<∞. 它仍然受制于计量熵。为此，我们将定义：HI:=（h（·u，θ，γ，λ）：Y×Z→ R:h（y，z，u，θ，γ）=infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ），（u，θ，γ，λ）∈ U×Θ×Γ×∧，（B.21）HII：=h（·，u，θ，γ）：Y×Z→ R:h（y，z，u，θ，γ）=infy？∈G（y，z，u，θ，γ）ν（v），（u，θ，γ）∈ U×Θ×Γ, （B.22）HIII:={h（·u，y？）：Y×Z→ R:h（y，z，u，y？=~n（y，z，u，y？），（u，y？）∈ U×Y？}，（B.23）艾滋病毒：=h（·，u，θ，λ）：Y×Z→ R:h（y，z，u，θ）=JXj=1λjmj（y，z，u，θ），（u，θ，λ）∈ U×Θ×∧. （B.24）通过引理B.6，我们得到：N（ε，H`B，| |·| |ψ，2）≤ N（ε/2，HI，| |·| |ψ，2）。根据引理B.8，我们还有：N（ε/2，HI，| |·| |ψ，2）≤ N（ε/2，HII，|·| |ψ，2）N（ε/2，HIV，|·|ψ，2）。再次应用引理B.6，我们得到：N（ε/2，HII，| |·| |ψ，2）≤ N（ε/4，HIII，| |·| |ψ，2）。最后，从引理B.8的迭代应用：N（ε/2，HIV，| |·| |ψ，2）≤JYj=1N（ε/（2J），Mj，| | | | | |ψ，2），我们得出结论：对数N（ε，H`b，| | | |ψ，2）≤ logn（ε/4，HIII，| |·| |ψ，2）+JXj=1logn（ε/（2J），Mj，|·| |ψ，2）≤ supQ∈Qnlog N（ε/4，HIII，| |·| | Q，2）+JXj=1supQ∈Qnlog N（ε/（2J），Mj，| |·| | Q，2），具有概率为1/N整数倍的原子的所有离散概率测度Qnon X的上确界。

由于假设HIII和MJ满足熵增长条件，因此前一个显示的右侧为o（n）级。结合（B.20），我们可以看到，对于任何（c，κ）对，都存在一些n，使得4E | | Rn | |（H`B）≤ c（1）- κ). 将此与（B.19）和（B.17）相结合，屋顶就完成了。定理5.1的证明。回想一下：h`b（y，z，θ，γ，λ）：=infu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！。为便于注释，我们将定义为：Pnh`b（·θ，γ，λ）：=nnXi=1infui∈G-（yi，zi，θ）infy？我∈G（yi，zi，ui，θ，γ）~n（vi）+u*JXj=1λjmj（yi，zi，ui，θ）！，phb（·，θ，γ，λ）：=Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z.我们认为有必要设置cn（κ）=2cn（ψ，κ）+5ε，其中cn（ψ，κ）满足：supγ∈Γsupθ∈Θmaxλ∈ΛPnh`b（·，θ，γ，λ）- phb（·，θ，γ，λ）≤ ~cn（ψ，κ），（B.25），概率至少为κ/2。让λ*(θ, γ),^λ(θ, γ), θ*(γ),^θ(γ), γ*和^γ应如注释B.1和setd（ψ）=^γ所示。

那么我们有：I`b[~n]（d（ψ））=infθ∈Θmaxλ∈λphb（·，θ，d（ψ），λ）（根据定理3.1），=infθ∈ΘP h`b（·，θ，d（ψ），λ）*（θ，d（ψ）），（自λ）*对于任何（θ，γ）），在P处是最优的，=phb（·θ）*（d（ψ）），d（ψ），λ*(θ*, d（ψ）））-ε、 （自θ）*是ε-（P，λ）处的最优*) 对于任何γ），≥ phb（·，θ）*（d（ψ）），d（ψ），^λ（θ）*（d（ψ）），d（ψ）））-ε、 （自λ起）*对于任何（θ，γ）），在P处都是最佳的，≥（κ/2）Pnh`b（·θ）*（d（ψ）），d（ψ），^λ（θ）*（d（ψ）），d（ψ）））- ~cn（ψ，κ）-ε、 （由（B.25）修订），≥ Pnh`b（·，^θ（d（ψ）），d（ψ），^λ（^θ（d（ψ）），d（ψ）））- ~cn（ψ，κ）-2ε（因为对于任何γ，θ在（Pn，λ）处是ε-最优的），≥ Pnh`b（·，^θ（γ）*), γ*,^λ(^θ(γ*), γ*)) - ~cn（ψ，κ）-3ε（因为d（ψ）在（Pn，λ，θ）处是ε-最优的），≥ Pnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) - ~cn（ψ，κ）-3ε（因为对于任何（θ，γ），λ在Pn是最优的），≥（κ/2）phb（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -2~cn（ψ，κ）-3ε（通过（B.25）），≥ phb（·，θ）*(γ*), γ*, λ*(θ*(γ*), γ*)) -2~cn（ψ，κ）-4ε（自θ起）*ε在（P，λ）处是最优的*) 对于任何γ），≥ supγ∈ΓP h`b（·θ）*(γ), γ, λ*(θ*(γ), γ)) -2~cn（ψ，κ）-5ε（自γ）*ε在（P，λ）是最优的*, θ*)),≥ supγ∈Γinfθ∈ΘP h`b（·，θ，γ，λ）*(θ, γ)) - 2~cn（ψ，κ）-5ε（自θ起）*ε在（P，λ）是最优的*) 对于任何γ），≥ supγ∈Γinfθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- 2~cn（ψ，κ）-5ε（自λ起）*对于任何（θ，γ）），在P处都是最佳的，≥ supγ∈ΓI`b[Γ]（γ）- 2~cn（ψ，κ）-5ε（根据定理3.1）。“每个不平等”≥（κ/2）“概率至少为κ/2。注意，这显示：supγ∈ΓI`b[Γ]（γ）- I`b[^]（^γ）≤ 2~cn（ψ，κ）+5ε，概率至少为κ。为了满足（B.25），显然需要选择cn（ψ，κ）来满足：supPY，Z∈PY，ZP纽约，Zsupγ∈Γsupθ∈Θmaxλ∈ΛPnh`b（·，θ，γ，λ）- phb（·，θ，γ，λ）≥ ~cn（ψ，κ）≤ 1.- κ/2.

（B.26）根据Koltchinskii（2011）定理4.6，我们得到了任意t>0:supPY，Z∈PY，ZP纽约，Zsupγ∈Γsupθ∈Θmaxλ∈ΛPnh`b（·，θ，γ，λ）- phb（·，θ，γ，λ）≥ 2 | | Rn | |（H\'b）+3次√N≤ 经验-T.现在设置：~cn（ψ，κ）=2 | | Rn | | |（H`b）+s18 ln（2/（2- κ） ）嗯。然后我们有：cn（κ）=4 | | Rn | | |（H`b）+s72 ln（2/（2）- κ） ）Hn+5ε。然后我们得出结论（5.4）。定理5.2的证明。让T，T[和T]如引理5.1所定义。在这个证明中，注意以下事实是有用的：（i）函数δ7→ Tn（δ），T（δ）是非递减的左连续阶跃函数，在区间[0，δ]上大于或等于零，否则为零。（ii）功能σ7→ T[n（σ），T[（σ）是非递增的且左连续的，其唯一可能的不连续点位于{δj}∞j=0。（iii）功能η7→ T] n（η），T（η）是不增加的，连续的。现在对于任何η>0的情况，让我们：δ*= T] n（1）-1/a）+η，δ**= T] （1）-1/a）+η，其中η=η+ε，对于某些ε>0。注意，选择δ**略大于T]（1）- 1/a）确保T[（δ**) ≤ 1.- 1/a.类似注释适用于δ*和T]n（1）-1/a）。根据引理5.1的证明，我们知道存在一个与ENP有关的事件纽约，Z（英语）≥ κ使得在Enweg上*(δ)  每δ的Gn（bδ）≥ δ**. 因此，对于每个δ≥ δ**我们有一个关于T（δ）≤ Tn（δ），其中T（δ）δ≤Tn（δ）δ，对于所有δ≥ δ**. 因此，在Enwe上有T[（σ）≤ T[n（σ）对于任何σ≥ δ**, 尤其是：T[（δ**) := supδ≥δ**T（δ）δ≤ supδ≥δ**Tn（δ）δ=：T[n（δ**), （B.27）回想一下我们对δ的选择**确保T[（δ**) ≤ 1.-1/a.我们现在可以区分事件中的两种情况：1。我们有：supδ≥δ**T（δ）δ≤ 1.-A.≤ supδ≥δ**Tn（δ）δ。在这种情况下，我们有T[n（δ**) ≥ 1.-1/a，因此T]n（1-1/a）≥ δ**, 所以δ*> δ**（参见δ的定义）*和δ**上图）。我们有：supδ≥δ**T（δ）δ≤ supδ≥δ**Tn（δ）δ<1-a、 这意味着（i）T]（1- 1/a）≤ T] n（1）- 1/a）<δ**, 或（ii）T]n（1）- 1/a）<T]（1）- 1/a）<δ**. 在案例（i）中，我们显然有*≥ δ**.

在情况（ii）中，设：c:=T]（1）-1/a）- T] n（1）-1/a）>0。然后：δ**- δ*= T] （1）-1/a）+η- T] n（1）-1/a）- η=c-ε、 其中最后一行来自η的定义。现在假设我们的ε>0的c>ε在证明的开始处被选中。我们将证明这会产生矛盾。为了理解这种方法，请注意，c的值并不取决于η>0的值，因此c>ε的假设对于每个η>0都必须成立。如果我们能证明，对于某些η>0，c<ε，我们将得到我们想要的矛盾。回想一下，在Enwe上有T[（σ）≤ T[n（σ）对于任何σ≥ δ**. 这意味着，对于任何r>0，ifT]（r）≥ δ**然后T]n（r）≥ T] （r）。现在选择一个值rη∈ R最接近1- 1/a使rη≤ 1.- 1/a和：T]（rη）=T]（1-1/a）+η=δ**.这样的选择总是可能的，因为T]是连续的，并且T]是非递增的。取η（也就是δ**) 只要足够小，我们就可以通过T]的连续性得出结论，点rη也可以任意选择接近1-1/a.通过T]n的连续性回忆存在ε>0，例如T]n（x）- T] n（1）- 1/a）<ε- 1/a）<x+ε。现在选择rη≤ 1.- 1/a如此-1/a<rη+ε，我们有：c=T]（1）-1/a）- T] n（1）-1/a）<T]（rη）-T] n（1）-1/a）≤ T] n（rη）-T] n（1）-1/a）<ε。这当然与每一个η>0的选择都是c>ε这一事实相矛盾。我们得出结论，c≤ ε、 自δ**- δ*= C-ε、 我们有δ**≤ δ*.我们得出结论，在所有情况下**≤ δ*安恩。结果直接来自引理5.1。引理5.1的证明。

回想一下：h`b（y，z，θ，γ，λ）：=infu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！。为便于注释，我们将定义为：Pnh`b（·θ，γ，λ）：=nnXi=1infui∈G-（yi，zi，θ）infy？我∈G（yi，zi，ui，θ，γ）~n（vi）+u*JXj=1λjmj（yi，zi，ui，θ）！，phb（·，θ，γ，λ）：=Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z.定义事件：En，j:=（supθ，θ∈Θsupγ，γ∈G*（δj）supλ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|≤ T（δj）），和：En:={j:δj≥δ**}En，j.（B.28）注意，当δ>0时，值2H是H`B（δ）中任何函数的上界。通过选择δ>2H，我们得到了：supPY，Z∈PY，ZP纽约，ZEcn，0= 此外，根据霍夫丁不等式的统一版本（例如Koltchinskii（2011）定理4.6，第71页），我们有：supPY，Z∈PY，ZP纽约，ZEcn，j≤ 经验-tj！，每j∈ N.我们通过联合定界得出结论：infPY，Z∈PY，ZP纽约，Z（英语）≥ 1.-X{j:δj≥δ**}经验-tj！。现在请注意，对于c=5，c=（3/（2κ））2/5和tj=pclog（c·j），我们有：X{j:δj≥δ**}经验-tj！≤∞Xj=1exp-tj=∞Xj=1exp-阻塞（c·j）=∞Xj=1（c·j）-c=2（1）-κ)∞Xj=1J5/2≤2(1 -κ)= 1.-κ.因此我们得出结论：infPY，Z∈PY，ZP纽约，Z（英语）≥ κ. （B.29）剩余的证据分为两部分：1。我们将在活动中展示我们对任何γ的反应∈ Γ，En（γ）≤ (2 - 1/a）（E）*(γ) ∨ δ**). 然后，我们将利用这个事实来论证，在En上，对于任何δ≥ δ**我们有G*(δ)  Gn（（2）-1/a）δ）。我们将在活动中展示我们对任何γ的反应∈ Γ，E*(γ) ≤ a（En（γ）∨ δ**). 然后我们将利用这一事实来论证，在En上，对于任何δ≥ aδ**我们有Gn（δ/a） G*(δ).在整个证明过程中，让λ*(θ, γ),^λ(θ, γ), θ*(γ),^θ(γ), γ*^γ应如备注B.1所示。第1部分：我们将证明在事件中我们有En（γ）≤ (2 - 1/a）（E）*(γ) ∨ δ**) 对于任何γ∈ Γ.首先，考虑σ=E的任意γ*(γ) ≥ δ**. 选择任意ε>0，使δ**≥ ε、 这是可能的，因为δ**> T] （1）-1/a）≥ 0

那么在这个事件上，我们有：En（γ）：=supγ∈Γinfθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）- infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）≤ infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ，λ）- infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ，λ）+3ε=infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）- infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）+infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）-infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）- infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）+ 3ε≤ supγ∈Γinfθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）+infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）-infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）- infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）+ 3ε=E*(γ) +infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）-infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）- infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）+ 3ε.现在注意：infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）≤ infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- 最大λ∈∧phb（·，θ）*(^γ), ^γ, λ) + ε≤ 最大λ∈λphb（·，^θ（γ），γ，λ）- 最大λ∈∧phb（·，θ）*(^γ), ^γ, λ) + 2ε≤ 最大λ∈λphb（·，^θ（γ），γ，λ）- phb（·，θ）*(^γ), ^γ,^λ(θ*^γ，^γ）+2ε=phb（·，^θ（γ），γ，λ*(^θ(γ), γ)) - phb（·，θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ)) + 2ε.类似地：infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）- infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）≤ infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）- 最大λ∈λPnh`b（·，^θ（γ），γ，λ）+ε≤ 最大λ∈∧Pnh`b（·θ）*(^γ), ^γ, λ) - 最大λ∈λPnh`b（·，^θ（γ），γ，λ）+2ε≤ 最大λ∈∧Pnh`b（·θ）*(^γ), ^γ, λ) - Pnh`b（·，^θ（γ），γ，λ）*（θ（γ，γ））+2ε=Pnh`b（·θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ)) - Pnh`b（·，^θ（γ），γ，λ）*(^θ(γ), γ)) + 2ε.因此我们得出结论：En（γ）≤ E*（γ） +7ε+phb（·，^θ（γ），γ，λ）*(^θ(γ), γ)) - phb（·，θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ))-Pnh`b（·，^θ（γ），γ，λ）*(^θ(γ), γ)) - Pnh`b（·θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ)).然而，γ∈ G*（σ） 根据假设和引理B.9，我们得到了^γ∈ G*（σ） 关于这个事件。

因此，前一个显示的右侧可以限定在上面：ph`b（·，^θ（γ），γ，λ*(^θ(γ), γ)) - phb（·，θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ)) -Pnh`b（·，^θ（γ），γ，λ）*(^θ(γ), γ)) - Pnh`b（·θ）*(^γ)≤ supθ，θ∈Θsupγ，γ∈G*（σ） supλ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））|。此外，对于任何σ≥ δ**, 在该事件中，最终数量以T（σ）为界；这源于T（σ）的定义和映射的单调性：x7→ supθ，θ∈Θsupγ，γ∈G*（x） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|。因此关于En:En（γ）≤ E*（γ） +T（σ）+7ε=E*（γ） +T（σ）σ+7ε≤ E*（γ） +supδ≥σT（δ）δσ+7ε=E*（γ） +T[（σ）σ+7ε=E*（γ） +T[（σ）E*(γ) + 7ε.既然≥ δ**> T] （1）- 1/a）我们有T[（σ）≤ T[（δ**) ≤ 1.- 1/a.因此，在事件En中，如果γ是*(γ) ≥ δ**, 我们有：En（γ）≤2.-A.E*(γ) + 7ε.因为ε>0是任何值，使得δ**≥ ε、 因此可以任意变小，我们得出结论，在这个事件中，我们对任何带E的γ都有*(γ) ≥ δ**:En（γ）≤2.-A.E*(γ).现在考虑σ：=E的情况*(γ) ≤ δ**.

通过与上述相同的推导，我们得到：En（γ）≤ E*（γ） +supθ，θ∈Θsupγ，γ∈G*（σ） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|+7ε。通过单调性，我们有：supθ，θ∈Θsupγ，γ∈G*（σ） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|≤ supθ，θ∈Θsupγ，γ∈G*(δ**)最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|。此外，关于事件Enwe有：supθ，θ∈Θsupγ，γ∈G*(δ**)最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|≤ T（δ）**).因此，关于事件En:En（γ）≤ E*（γ） +T（δ）**) + 7ε≤ E*（γ） +supδ≥δ**T（δ）δδ**+ 7ε=E*（γ） +T[（δ**)δ**+ 7ε≤ E*(γ) +1.-A.δ**+ 7ε≤ δ**+1.-A.δ**+ 7ε=2.-A.δ**+ 7ε.因为ε>0是任何值，使得δ**≥ ε、 因此可以任意变小，我们得出结论，在事件中，我们对任何γ都有：≤2.-A.（E）*(γ) ∨ δ**) .我们将利用这个结果来论证，在事件En上，如果δ≥ δ**然后是E*(γ) ≤ δ ==> En（γ）≤ (2 - 1/a）δ。有两种情况：（i）E*(γ) ≤ δ**≤ δ、 这意味着事件En:En（γ）≤2.-A.（E）*(γ) ∨ δ**) =2.-A.δ**≤2.-A.δ.（ii）δ**≤ E*(γ) ≤ δ、 这意味着事件En:En（γ）≤2.-A.（E）*(γ) ∨ δ**) =2.-A.E*(γ) ≤2.-A.δ.因此我们得出结论，对于任何δ≥ δ**, 我们有那个*(γ) ≤ δ ==> En（γ）≤ (2 - 1/a）δ。现在回想一下我们有E*(γ) ≤ δ <==> γ ∈ G*（δ） 和En（γ）≤ (2 - 1/a）δ<==> γ ∈ Gn（（2）- 1/a）δ）。因此，我们得出结论，对于任何δ≥ δ**, 关于事件En:G*(δ)  Gn（（2）-1/a）δ），根据需要。第2部分：我们将证明在事件中我们有E*(γ) ≤ a（En（γ）∨ δ**) 对于任何γ∈ Γ. 如果γ是这样的话*(γ) ≤ δ**那么这是非常正确的（因为a>1）。现在考虑σ=E的任意γ*(γ) ≥ δ**. 选取任意ε>0，使δ**≥ ε、 这是可能的，因为δ**> T] （1）-1/a）≥ 0

那么在事件上，我们有：E*（γ） ：=supγ∈Γinfθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）≤ infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧ph`b（·，θ，γ，λ）+3ε=infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）+supγ∈Γinfθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）- infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）-supγ∈Γinfθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）- infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）+ 3ε=E*(γ) +infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）-supγ∈Γinfθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）- infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）+ 3ε.现在注意：infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧phb（·，θ，γ，λ）≤ infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - 最大λ∈∧phb（·，θ）*(γ), γ, λ) + ε≤ 最大λ∈∧phb（·，^θ（γ）*), γ*, λ) - 最大λ∈∧phb（·，θ）*(γ), γ, λ) + 2ε≤ 最大λ∈∧phb（·，^θ（γ）*), γ*, λ) - phb（·，θ）*(γ), γ,^λ(θ*(γ), γ)) + 2ε≤ phb（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -Ph`b（·θ）*(γ), γ,^λ(θ*(γ), γ)) + 2ε.类似地：infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）- supγ∈Γinfθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）≤ infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）- infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ）*, λ) + 3ε≤ infθ∈Θmaxλ∈λPnh`b（·，θ，γ，λ）- 最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ) + 4ε≤ 最大λ∈∧Pnh`b（·θ）*(γ), γ, λ) - 最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ) + 5ε≤ Pnh`b（·θ）*(γ), γ,^λ(θ*(γ), γ)) -Pnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) + 5ε.因此我们得出结论：E*(γ) ≤ En（γ）+10ε+phb（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -Ph`b（·θ）*(γ), γ,^λ(θ*(γ), γ))-Pnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -Pnh`b（·θ）*(γ), γ,^λ(θ*(γ), γ)).然而，γ∈ G*（σ） 根据假设，E*(γ*) ≤ ε ≤ E*（γ） =σ意味着γ*∈ G*(σ).

因此，前一个显示的右侧可以限定在：phb（·，^θ（γ）之上*), γ*, λ*(^θ(γ*), γ*)) -Ph`b（·θ）*(γ), γ,^λ(θ*(γ), γ))-Pnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -Pnh`b（·θ）*(γ), γ,^λ(θ*(γ), γ))≤ supθ，θ∈Θsupγ，γ∈G*（σ） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|。此外，对于任何σ≥ δ**, 在该事件中，最终数量以T（σ）为界；这源于T（σ）的定义和映射的单调性：x7→ supθ，θ∈Θsupγ，γ∈G*（x） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|。因此在En:E上*(γ) ≤ En（γ）+T（σ）+10ε=En（γ）+T（σ）σ+10ε≤ En（γ）+supδ≥σT（δ）δσ+10ε=En（γ）+T[（σ）σ+10ε=En（γ）+T[（σ）E*(γ) + 10ε.既然≥ δ**> T] （1）- 1/a）我们有T[（σ）≤ T[（δ**) ≤ 1.- 1/a.因此，在事件En中，如果γ等于σ=E*(γ) ≥ δ**, 我们有：E*(γ) ≤ En（γ）+1.-A.E*(γ) + 10ε==> E*(γ) ≤ aEn（γ）+10aε。因为ε>0是任何值，使得δ**≥ ε、 因此可以任意地变小，我们得出结论，在这个事件中，我们对任何γ：E都有*(γ) ≤ a（En（γ）∨ δ**) .我们将利用这个结果来论证，在事件En上，如果δ/a≥ δ**然后是E*(γ) ≤ δ. 有两种情况：（i）En（γ）≤ δ**≤ δ/a，这意味着事件En:E*(γ) ≤ a（En（γ）∨ δ**) = aδ**≤ δ.（ii）δ**≤ En（γ）≤ δ/a，这意味着事件En:E*(γ) ≤ a（En（γ）∨ δ**) = aE*(γ) ≤ δ.因此我们得出结论，对于任何δ/a≥ δ**, 关于En，我们有En（γ）≤ δ/a==> E*(γ) ≤ δ. 现在回想一下我们有En（γ）≤ δ/a<==> γ ∈ Gn（δ/a）和E*(γ) ≤ δ <==> γ ∈ G*(δ). 因此，我们得出结论，对于任何δ≥ aδ**, 关于事件En:Gn（δ/a） G*（δ） ，如所愿。这就完成了证明。B.2辅助结果和证明B。2.1关于可测量性问题，以下讨论反映了Dudley（2010）第3.3节和Dudley（2014）第5.3节中的讨论。设X为光滑空间，B（X）为Borelσ-X上的代数。

那么（X，B（X））是一个可测空间。如果P是B（X）上的概率定律，那么（X，B（X），P）是概率空间。现在来看看B 十、 我们可以定义外部度量P*关于B:P*（B） ：=inf{P（C）：B C和C∈ B（X）}。根据达德利（2010）的定理3.3.1，C总是存在的∈ B（X）使得P*（B） =P（C），这样的setC被称为B的可测量覆盖。现在将P的空集集合定义为：空（P）：={a X:P*（A） =0}。此外，让B*P（X）表示最小σ-B（X）生成的代数∪N（P）。根据达德利（2010）提出的第3.3.2条，我们有：*P（X）：={B X:BC∈ 对于某些C∈ B（X）}，其中BC=（B\\C）∪（C\\B）。现在我们可以将测度P从B（X）扩展到B上的测度P*P（X）如下：如果BC∈ N ull（P）和C∈ B（X），然后设置P（B）=P（C）。Dudley（2010）中的命题3.3.3验证了这是一个有效的扩展；也就是说，P是对B的度量*对于B（X）中的所有集合，P（X）与P一致。但是，请注意，集合B*P（X）显然取决于概率测度P。事实上，如果Q是B（X）上的另一个测度*Q（X）的定义与B类似*P（X），那么这两个集合B是可能的*P（X）和B*Q（X）不同，因为P和Q的零集不同。另一方面，很明显，B*P（X）和B*Q（X）必须有许多共同元素；例如，两个集合都必须包含Borel集合B（X）。A组B组∈ B*P（X）被称为P的可测量性。如果对于每一个概率测度P，集合B对于P的完成是可测量的，那么我们称B为普遍可测量的。我们将普遍可测集表示为B*（十） )；很容易验证B*（十） 这也是一个问题-代数根据定义，对于任意两个概率测度P和Q，都是B*P（X）和B*Q（X）包含普遍可测集。

还要注意，在我们的例子中，显然Borel集B（X）是普遍可测的。A子集A 抛光空间X的X（带Borelσ-如果存在一个紧度量空间Y，使得A是某些B在X上的投影，则称为B（X）-解析∈ B（X） B（Y）。A函数f:A→ [-∞, ∞] 如果A是解析集且{x∈ A:f（x）<c}（或{x∈ A:f（x）≥ c} ）是每个c的分析集∈ R也就是说，如果f的上标图（或下标图）是反的，那么这是由σ的任意交集引起的-代数是σ-代数我们注意到，这是分析集的许多等价定义之一。参见Cohn（2013）第8章。我们的定义来自Stinchcombe and White（1992）。解析集。在波兰空间中，每个分析集都是普遍可测的。我们请读者参考Cohn（2013）第8章了解更多细节。引理B.1（随机集上的最小值是下半解析的）。假设假设假设2.1、2.2和2.3成立。然后对于任何下半解析函数f:V×Γ×Θ×{0，1}J→ R、 函数flb，1（y，z，u，θ，γ，λ）由以下公式给出：flb，1（y，z，u，θ，γ，λ）：=infy？∈G（y，z，u，θ，γ）f（v，θ，γ，λ），（B.30）是下半解析的；也就是说，{（y，z，u，γ，θ，λ）：flb，1（y，z，u，θ，γ，λ）<r}是每个r的解析集∈ R、 因此是普遍可测量的。此外，函数flb，2（y，z，θ，γ，λ）由以下公式给出：flb，2（y，z，θ，γ，λ）：=infu∈G-（y，z，θ）flb，1（y，z，u，θ，γ，λ），（B.31）也是下半解析的；也就是说，{（y，z，θ，γ，λ）：flb，2（y，z，θ，γ，λ）<r}是每个r的解析集∈ R、 因此是普遍可测量的。备注B.3。将fub，1（y，z，u，θ，γ，λ）和fub，2（y，z，u，θ，γ，λ）定义为被上确界替换的模函数，可以证明fub，1（y，z，u，θ，γ，λ）和fub，2（y，z，u，θ，γ，λ）是上半解析的。引理B.1的证明。

回想一下，在假设2.3下，多功能G？（y，z，u，θ，γ）对于产品Borelσ是可测量的-代数B（Y） B（Z） B（U） B（Γ）。根据Molchanov（2017）定理1.3.3，这意味着：图（G？）∈ B（Y） B（Z） B（U） B（Θ）B（Γ）。因此图（G？）是一个Borel集（因此也是一个分析集）。现在注意到G？（y，z，u，θ，γ）可以重写为：G？（y，z，u，θ，γ）：={y？∈ 是吗（y，z，u，y？，θ，γ）∈ 图（G？}。flb，1:V×Γ×Θ×{0，1}J→ R是下半解析的，然后直接遵循什里夫和贝尔塞卡斯（1978）的选择定理，第968页。以flb，1（y，z，u，θ，γ，λ）为下半解析，一个完全相同的证明表明flb，2（y，z，θ，γ，λ）也是下半解析的。B.1提案。假设定理3.1的假设成立。然后是γ7→ I`b[~n]（γ），Iub[~n]（γ）是普遍可测量的。证据我们将关注地图γ7→ I`b[~n]（γ），因为上包络函数的证明是对称的。根据定理3.1，我们有：I`b[~n]（γ）=infθ∈Θmaxλ∈{0,1}JZh`b（y，z，θ，γ，λ）dPY，z，另见Bertsekas和Shreve（1978）命题7.47，第179页。式中：h`b（y，z，θ，γ，λ）：=infu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！。假设h`b（y，z，θ，γ，λ）是下半解析的（稍后我们将回到这个）。然后是命题7。46在Bertsekas和Shreve（1978）中，地图：（θ，γ，λ）7→Zh`b（y，z，θ，γ，λ）dPY，z，（b.32）是下半解析的。此外，假设g:R→ R和g:R→ R是下半解析的。函数g（x）=g（x）∨g（x）满意度：g-1((-∞, r） ）=g-1((-∞, r） )∪G-1((-∞, r） ）。由于解析集在（可数）并集和交集下是封闭的（Parthasarathy（2005）定理3.1），所以只要gand gare是下半解析的，我们就知道g是下半解析的。

由此我们得出函数：（θ，γ）7→ 最大λ∈{0,1}JZh`b（y，z，θ，γ，λ）dPY，z是下半解析函数，是形式（b.32）的至多2j下半解析函数的点态最大值。最后，根据Shreve和Bertsekas（1978）的选择定理，第968页（另见Bertsekas和Shreve（1978）命题7.47），我们得到了映射：γ7→ supθ∈Θmaxλ∈{0,1}JZh`b（y，z，θ，γ）dPY，z是下半解析的，因此是普遍可测的。因此，只剩下证明h`b（y，z，θ，γ，λ）是低半解析的。通过引理B.1，如果我们能给出函数：（v，θ，γ，λ）7，那么h`B（y，z，θ，γ）将是下半解析的→ ν（v）+u*JXj=1λjmj（y，z，u，θ），（B.33）是下半解析的。由于φ（v）和{mj（y，z，u，θ）}Jj=1都是通过假设可测的Borel，由于Borel可测函数的组合是Borel可测的，我们得出结论（B.33）是Borel可测的。由此得出的结论是，每个Borel可测函数都是下半解析函数。几乎相同的论证表明，对于每个固定序列（ξ，…，ξn）∈ {-1，1}n，Rademachercomplexity:（（y，z），（yn，zn）7→ ||R | | |（H\'b）是普遍可测量的。这是前面结果的推论，便于参考。推论B.1。假设定理3.1的假设成立，并假设序列（Y，Z）。，（Yn，Zn）是乘积概率空间（（Y×Z）n，（B（Y））的坐标投影B（Z））n、 P纽约，Z）。然后地图：（（Y，Z），（Yn，Zn）7→ ||R | | |（H`b），是普遍可测量的；也就是说，P的完成是可测量的nY，ZF或任何PY，Z∈ PY，Z.B.2.2在定义2.3引理B.2中尊重偏好关系的弱优势。

让(Ohm, A） 做一个可测量的空间，让X，X：Ohm ×T→ R是两个随机过程，例如X（·，t）和X（·，t）对于每个t和ω7是可测量的→ 输入∈TX（ω，t），inft∈TX（ω，t）是普遍可测的；也就是说，可测量的关于完成任何概率度量的(Ohm, A） 。此外，假设对于(Ohm, A） 我们有X（ω，t）≤ X（ω，t）a.s.对于每个∈ T，让c:P→ R++可以是仅依赖于P的任何值，其中P是所有概率测度的集合(Ohm, A） 。最后，设c，c：（0，1）×P→ R++是满足以下条件的最小值：P输入∈TX（ω，t）+c（κ，P）≥ c（P）≥ κ、 P输入∈TX（ω，t）+c（κ，P）≥ c（P）≥ κ、 对于每个κ∈ (0, 1). 然后每一个P∈ 我们有c（κ，P）≤ c（κ，P）表示每个κ∈ (0, 1).证据修正任何概率测度P∈ P.然后通过假设：X（ω，t）≤ X（ω，t）a.s。T∈ T这意味着：inft∈TX（ω，t）≤ X（ω，t）a.s。T∈ T，这反过来意味着：inft∈TX（ω，t）≤ 输入∈TX（ω，t）a.s.，因此：inft∈TX（ω，t）-c（P）≤ 输入∈TX（ω，t）-c（P）a.s.设N表示该关系不成立的空集（该集可能依赖于P）∈ P） 。然后我们就有了每个x∈ R:ω：inft∈TX（ω，t）-c（P）>x∩ 北卡罗来纳州ω：inft∈TX（ω，t）-c（P）>x∩ 根据假设，这些事件属于普遍σ-由A生成的代数，因此对于任何P的完成都是可测量的∈ 这意味着每x∈ R:Pω：inft∈TX（ω，t）-c（P）>x≤ Pω：inft∈TX（ω，t）-c（P）>x.现在拿任何κ∈ （0,1）和设置x=-c（κ，P）我们有：κ≤ Pω：inft∈TX（ω，t）+c（κ，P）>c（P）≤ Pω：inft∈TX（ω，t）+c（κ，P）>c（P）.根据定义，这意味着c（κ，P）不能大于c（κ，P）；也就是说，c（κ，P）≤ c（κ，P）。自从κ∈ （0，1）是任意的，我们得出结论c（κ，P）≤ c（κ，P）表示每个κ∈ (0, 1). 自从P∈ P也是罕见的，我们得出结论，对于每一个P∈ 我们有c（κ，P）≤ c（κ，P）表示每个κ∈ (0, 1).

这完全是证据。B.2.3交换积分和上确界/内确界B.3的结果（积分和上确界/内确界的交换）。设（V，B（V））和（V，B（V））是带V和Vas抛光空间的可测空间。让V∈ V是概率空间中定义的任意随机变量(Ohm, A、 P）具有（边际）分布PV=Po五、-1.此外，让G:V→ Vbe几乎肯定不会出现空的效果。然后对于任何有界且可测的函数φ：V×V→ R、 我们有：Zsupv∈G（v）~n（v，v）dPV=supV∈Sel（G）Z~n（v，v（v））dPV，（B.34）Zinfv∈G（v）~n（v，v）dPV=infV∈特别是，如果：PV | v:={PV | v:v~ PV | V，V:V→ 可见光和PV | V（V∈ G（V）|V=V）=1 a.s.}，那么：Zsupv∈G（v）|（v，v）dPV=supPV | v∈PV | VZ~n（v，v）d（PV | v×PV），（B.36）Zsupv∈G（v）|（v，v）dPV=infPV |v∈PV | VZ~n（v，v）d（PV | v×PV）。（B.37）引理B.3的证明。由于G是可测的，根据Molchanov（2017）中的定理1.3.3，我们得到了thatgr（G）∈ B（V） B（V），因此gr（G）是一个平凡的解析集。现在定义：grv（G）：={v∈ V:（V，V）∈ gr（G）}。现在让我们来看一看*（v） ：=supv∈G（v）~n（v，v）=supv∈grv（G）~n（v，v）。此外，定义集合：M:={v∈ πV（gr（G））：五、∈ grv（G）s.t.（v，v）=*（v） 哦。式中∏V:V×V→ V是投影算子。修正任何ε>0的值。根据精确选择定理（Shreve和Bertsekas（1979），第16页），存在一个普遍可测的函数v:v→ v如（v，~v（v））∈ 每v的gr（G）∈ πV（gr（G））和：ν（V，~V（V））= φ*（v） ，如果v∈ M≥ φ*（五）-ε、 如果v/∈ M.这让我们可以写：Zsupv∈G（v）~n（v，v）dPV≤Z~n（v，ev（v））dPV+ε。由于相对于一个（普遍）可测量的选择，显然我们有：Z（v，ev（v））dPV≤ supV∈选择（G）Zа（v，v（v））dPVIt显示：supV∈Sel（G）Z~n（v，v（v））dPV≤Zsupv∈G（v）~n（v，v）dPV。对于任何ε>0，设Vε∈ 选择（G）满足：supV∈Sel（G）Z~n（v，v（v））dPV≤Z~n（v，vε（v））dPV+ε。此外，设N:={v:vε（v）/∈ G（v）}。然后通过定义Sel（G），我们得到P（N）=0。

因此：Zа（v，vε（v））dPV=ZNcа（v，vε（v））dPV≤ZNcsupv∈G（v）~n（v，v）dPV≤Zsupv∈G（v）~n（v，v）dPV。结合我们拥有的一切：Zsupv∈G（v）~n（v，v）dPV≤ supV∈Sel（G）Z~n（v，v（v））dPV+ε≤Zsupv∈由于ε>0是任意的，我们得出结论：Zsupv∈G（v）~n（v，v）dPV=supV∈塞鲁。m、 （G）Zа（v，v（v））dPV。自从每个V∈ 塞鲁。m、 （G）是普遍可测量的，每个vc可以与B（V）相关联-可测量的随机变量Vsuch the V=~Va.s.因此我们可以得出结论：Zsupv∈G（v）~n（v，v）dPV=supV∈选择（G）Zа（v，v（v））dPV。为了显示最终声明，请注意，对于任何V:V→ 我们有：PV | V（V=V | V=V）={V（V）=V}。i、 e.Vis的条件分布退化。因此对于任何V∈ Sel（G）：Z|（v，v）d（PV|v×PV）=Z k（v，v）{v（v）=v}dPV=Z k（v，v（v））dPV。通过定义PV | V，我们得出结论：supV∈Sel（G）Z~n（v，v（v））dPV=supPV | v∈PV | VZ~n（v，v）d（PV | v×PV）。B.2.4误差范围的结果在下一个引理中，我们重点讨论下包络函数，尽管显然上包络函数也有类似的结果。为了便于记法，请表示为：~n*:= infθ∈Θ*infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ。（B.38）我们现在得到了以下结果：引理B.4（原始问题和惩罚问题之间的相等）。假设定理3的假设。1等一下。然后存在函数λ`bj:Θ×PY，Z→ {0,1}，j=1，J、 仅取决于θ和分布PY，Z，因此：*= infθ∈ΘinfPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（y，Z，U，θ）]！。备注B.4。回想PY，Zi是Y×Z上所有Borel概率测度的集合。引理B.4的证明。首先，注意对于任何函数λ`bj:Θ×PY，Z→ {0,1}，j=1。

，J，我们有：*:= infθ∈Θ*infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ=infθ∈Θ*infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）supλ∈RJ+Zа（v）dPVγ+u*JXj=1λjEPY，Z，U[mj（y，Z，U，θ）]！≥ infθ∈Θ*infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（y，Z，U，θ）]！≥ infθ∈ΘinfPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（y，Z，U，θ）]！。因此，有必要证明存在函数λ`bj:Θ×PY，Z→ {0，1}对于j=1，满足逆不等式。这是建设性的。特别是定义：J*（θ，PY，Z）：=J∈ {1，…，J}:infPU|Y，Z∈PU | Y，Z（θ）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]=infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+.也就是说，设定J*（θ，PY，Z）返回获得问题内部最大值的弱正（即弱违反）矩函数的指数：infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+。现在设置：λ`bj（θ，PY，Z）：={j∈ J*（θ，PY，Z）}。（B.39）为了说明这一选择为什么有效，从定义任何θ开始∈ Θ*δ. 根据假设3.1（ii），我们有：Cd（θ，Θ）*) ≥ φ*- infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ。（B.40）此外，根据假设3.1（i），由于θ∈ Θ*δ根据假设，我们有：Cd（θ，Θ）*) = Cmin{δ，d（θ，Θ）*)} （B.41）≤ infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+=infPU | Y，Z∈PU | Y，Z（θ）λ`bj（θ，PY，Z）| EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+=infPU | Y，Z∈PU | Y，Z（θ）λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]≤JXj=1infPU | Y，Z∈PU | Y，Z（θ）λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]≤ infPU | Y，Z∈PU | Y，Z（θ）JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（Y，Z，U，θ）]。（B.42）现在通过构造，我们有了*≥ C/C.因此：Cd（θ，Θ）*) ≤ u*Cd（θ，Θ）*).

（B.43）现在使用（B.43）组合（B.40）和（B.42）并重新排列以获得：*≤ infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*infPU | Y，Z∈PU | Y，Z（θ）JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（Y，Z，U，θ）]≤ infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（y，Z，U，θ）！，这适用于所有θ∈ Θ*δ. 为了完成证明，考虑任何θ∈ Θ \\Θ*δ. 回想一下第3.1条的假设，即→ [~n\'b，~nub] R.然后使用假设3.1，我们有：infPU | Y，Z∈PU | Y，Z（θ）不舒服？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]≥ ~n\'b+u*infPU | Y，Z∈PU | Y，Z（θ）ZJXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）d（PU | Y，Z×PY，Z）≥ ~n\'b+u*infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+≥ ~n\'b+u*Cmin{δ，d（θ，Θ）*)}= ~n\'b+u*Cδ≥ φ*,最后一行在哪里*≥ （~nub）- ~n\'b）/（Cδ）≥ (φ*- ~n\'b）/（Cδ）。因为我们已经证明了每个θ的质量都成立∈ Θ，我们有：infθ∈ΘinfPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（y，Z，U，θ）]！≥ φ*.这就完成了证明。引理B.5。假设定理3.1的假设成立，定义为：h`b（y，z，θ，γ）：=infu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）！。式中λ`bj:Θ×PY，Z→ {0,1}，j=1，J、 都来自引理B.4。然后我们有：Zh`b（y，z，θ，γ）dPY，z≤ 最大λj∈{0,1}Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z，（B.44），如果θ等于（B.44）∈ Θ*.引理B.5的证明。

我们有：Zh`b（y，z，θ，γ）dPY，z:=Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）！dPY，Z=最大λj∈{0,1}s.tλj=λ`bj（θ，PY，Z）Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z≤ 最大λj∈{0,1}Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z。第一条线通过定义保持不变，第二条线保持不变，因为λj（θ，PY，Z）仅取决于θ，第三条线保持不变，因为无约束最大值始终弱于约束最大值。剩下的只是证明最后一个不等式在θ时成立∈ Θ*. 要做到这一点，必须证明对于任何θ∈ Θ*:Zh`b（y，z，θ，γ）dPY，z≥ 最大λj∈{0,1}Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！关于这一点，注意引理B.3我们有：Zh`B（y，Z，θ，γ）dPY，Z=Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）！dPY，Z=infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）！d（PU | Y，Z×PY，Z）。（B.46）由于总和的总和大于总和，我们有：infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）！d（PU | Y，Z×PY，Z）≥ infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）ν（v）d（PU | y，z×PY，z）+infPU | y，z∈PU | Y，Z（θ）u*JXj=1λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]。

（B.47）现在回想一下λ`bj（θ，PY，Z）=1当且仅当：infPU | Y，Z∈PU | Y，Z（θ）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]=infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+。从这里我们得出结论：infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+=infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，Jλ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]≤ infPU | Y，Z∈PU | Y，Z（θ）JXj=1λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]，因此：infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）~n（v）dPY，z，u+infPU | y，z∈PU | Y，Z（θ）u*JXj=1λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]≥ infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）~n（v）dPY，z，u+u*infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+。（B.48）然而，由于θ∈ Θ*根据假设，我们有：infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+=0。因此，结合（B.46），（B.47），（B.48）和（B.49）我们可以得出结论：Zh`B（y，z，θ，γ）dPY，z≥ infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）ν（v）d（PU | y，z×PY，z）。（B.50）现在，再次应用引理B.3，我们有：infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）ν（v）d（PU | y，z×PY，z）=infPU | y，z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z|（v）PVγ。（B.51）现在注意θ∈ Θ*:infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）PVγ=infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）supλj∈R+Z~n（v）PVγ+u*JXj=1λjEPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]！≥ infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）maxλj∈{0,1}Z~n（v）PVγ+u*JXj=1λjEPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]！。（B.52）现在由极小极大不等式：infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）maxλj∈{0,1}Z~n（v）PVγ+u*JXj=1λjEPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]！≥ 最大λj∈{0,1}infPU|Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z|（v）+u*JXj=1λjmj（y，z，u，θ）！dPVγ。（B.53）最后，通过引理B.3的迭代应用，我们得到：maxλj∈{0,1}infPU|Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z|（v）+u*JXj=1λjmj（y，z，u，θ）！dPVγ≥ 最大λj∈{0,1}Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z。

（B.54）结合（B.50），（B.51），（B.52），（B.53）和（B.54）我们有：Zh`B（y，z，θ，γ）dPY，z≥ 最大λj∈{0,1}Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z，θ∈ Θ*. 证据到此结束。B.2.5支持定理4.1的引理。假设F:={Fα（·θ）：X→ R：θ∈ Θ, α ∈ A} 是度量空间（X，d）上可测实值函数的完全有界参数类，其中（A，da）和（Θ，dθ）也是度量空间。此外，设G是一类实值函数，每个元素G（·，θ）：X→ 定义为：g（x，θ）：=infα∈C（x，θ）fα（x，θ），对于某些f∈ F、 其中C（x，θ）是每个（x，θ）对的非空多功能函数。对于任何概率测度Q，我们有：N（ε，G，| |·| | Q，2）≤ N（ε/2，F，| |·| | Q，2）。引理B.6的证明。作为一类参数函数（由（α，θ）参数化），ε/2-F的覆盖可以用点{（αi，θi）}ni=1的集合来刻画，其中n=n（ε/2，F，| |·| | Q，2）。用N（F）表示这样的集合。对于任何g，我们都会证明这一点∈ G存在一对（α，θ）∈ N（F）使得：|g（x，θ）- fα（x，θ）|≤ ε.自从每个g∈ G可以表示为：G（x，θ）=infα∈C（x，θ）fα（x，θ），必须证明存在一对（α，θ）∈ N（F）使：infα∈C（x，θ）fα（x，θ）-fα（x，θ）≤ ε.现在让我们来看看*满足任何价值观：infα∈C（x，θ）fα（x，θ）-fα*（x，θ）≤ ε/2.也就是说，α*是最小化问题的ε/2解。现在选择一对（α，θ）∈ N（F）使得| Fα*（x，θ）- fα（x，θ）|≤ ε/2（因为N（F）是ε/2，所以这种选择总是可能的-封面（F）。那么我们有：|g（x，θ）- fα（x，θ）|=infα∈C（x，θ）fα（x，θ）-fα（x，θ）≤infα∈C（x，θ）fα（x，θ）-fα*（x，θ）+ |fα*（x，θ）-fα（x，θ）|≤ ε/2 + ε/2= ε.这就完成了证明。引理B.7。设F是波兰空间X上的一类对称的可测实值函数，设ψ=（xi）ni=1从X中选取n个点的任意向量。

然后对于任意ε>0:E | | Rn | |（F）≤2ε√n+2Diamψ，2（F）rlog n（ε，F，| |·| |ψ，2）n.引理B.7的证明。注意：nE | | Rn | |（F）=nE supf∈FnnXi=1ξ如果（xi）= E supf∈FnXi=1ξ如果（xi）.现在回想一下，Rademacher processPni=1ξ，如果（xi）相对于向量（f（x），…）之间的欧几里德距离是次高斯的，f（xn）和（f（x），f（xn））表示f，f∈ F.我们用| | F表示这种欧几里德状态-f | |ψ，2强调向量ψ=（xi）ni=1是固定的。修正一个极小ε-净F* F在| |·| |ψ中，2形式。至少存在一个函数f∈ F*例如：E supf∈FnXi=1ξ如果（xi）≤ E supf∈FnXi=1ξ如果（xi）-nXi=1ξ如果（xi）+ ε√n、 （例如，我们总是可以将fto作为F中的元素。）*最接近-f在| |·| |ψ中，2形式，它是f的对称元素。）现在来看看f∈ F、 让F*（f）∈ F*是带有| | f的函数-F*（f） | 124;ψ，2≤ ε.然后：nXi=1ξ如果（xi）-nXi=1ξ如果（xi）=nXi=1ξ如果（xi）-nXi=1ξ如果*（f） （xi）+nXi=1ξ如果*（f） （十一）-nXi=1ξ如果（xi）≤nXi=1ξ如果（xi）-nXi=1ξ如果*（f） （十一）+nXi=1ξ如果*（f） （十一）-nXi=1ξ如果（xi）≤ 辅助| | f-F*||ψ,2≤εnXi=1ξ如果（xi）-nXi=1ξ如果*（十一）+ supf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）≤ 辅助| | f-F*||ψ,2≤εnXi=1 | f（xi）-F*（xi）|+supf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）≤ 辅助| | f-F*||ψ,2≤ε√n | | f- F*||ψ、 2+supf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）≤√nε+supf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）.注意，我们使用了不等式| | f- f | |ψ，1≤√n | | f- f | |ψ，2，式中| | f- f | |ψ，1表示点ψ=（xi）ni=1时f和fat之间的距离。

现在对于a>0的任何值，我们有：expaE maxf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）!≤ E expa maxf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）!= E maxf*,F∈F*埃帕nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）!≤Xf，f*∈F*E expanXi=1ξ如果*（十一）-nXi=1ξ如果（xi）!≤Xf，f*∈F*经验aDiamψ，2（F）/2≤ N（ε，F，| |·| |ψ，2）expaDiamψ，2（F）/2,其中，最后一个不等式来自Rademacher过程是次高斯过程，参数为Diamψ，2（F）。取原木，两边除以a>0，我们得到：E maxf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）≤2对数N（ε，F，| |·|ψ，2）a+aDiamψ，2（F）。最小化关于“a”的上界：E maxf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）≤ 2Diamψ，2（F）qlog N（ε，F，| |·| |ψ，2）我们得出结论：nE | | Rn | |（F）≤ 2.√nε+2Diamψ，2（F）qlog n（ε，F，| |·|ψ，2）。引理B.8。设G和H是两类函数，设F:={G+H:G∈ G、 h∈ H} 。然后：N（ε，F，| |·| |）≤ N（ε/2，G，| |·| |）N（ε/2，H，| |·| |），回忆一个随机过程（ω，t）7→ 度量空间（t，d）上的X（ω，t）相对于度量d ifE exp（λ（Xt））是次高斯的- Xs）≤ exp（λd（t，s）/2）。例如，就欧几里德度量而言，拉德马赫过程是次高斯过程。最小值为a=2对数N（ε，F，| |·|ψ，2）/直径ψ，2（F）1/2.其中| |·| |是任何规范。备注B.5。注意，这个结果的一个几乎相同的证明可以用来证明：N（ε，F，| |·| |）≤ N（ε·a，G，| |·| |）N（ε·b，H，|·| | |），其中a，b>0是满足a+b=1的任何值。引理B.8的证明。假设N（ε/2，G，| | | | | |）=N和N（ε/2，H，| | | | | |）=m。这需要显示（ε，F，| | | | |）≤ 纳米。设N（G）表示得到N的球的中心-G的覆盖，N（H）表示得到m的球的中心-H的封面。将N（G）的元素列举为G，把N（H）的元素列举为H，陛下

现在定义以下系列：Gj:={g∈ G:| | G- gj | |≤ ε/2}，Hk:={h∈ H:| | H- 香港| |≤ ε/2}，对于j=1，n和k=1，m、 然后{Gj}形成ε/2-G和{Hk}的覆盖形式aε/2-任何gj的H.Now封面∈ N（G）和香港∈ N（H）设fjk=gj+hk，定义为：fjk:={f:| | f- fjk | |≤ ε}.现在我们将讨论{Fjk}是ε-F的封面。请注意，如果我们能够确定这一点，证明将是完整的，因为只有nm集合Fjk。通过构造，每个FJK都是一个| |·||-半径为ε的球，所以它只需要检查{Fjk}是否覆盖了F。要做到这一点，需要乘以任何F∈ F.然后通过定义F=g+h来表示某些g∈ 甘地∈ H.因为{Gj}形成ε/2-G和{Hk}的覆盖形式aε/2-H的封面，我们知道有什么∈ N（G）和一些香港∈ N（H）使| | g- gj | |≤ ε/2和| | h-香港| |≤ ε/2. 但是因为fjk=gj+hkwe有：| | f- fjk | |=| |（g+h）- （gj+hk）|≤ ||G- gj | |+| | h- 香港| |≤ ε/2+ε/2=ε，因此f∈ Fjk，所以是封面{Fjk}的一个元素。自从f∈ F是任意的，我们得出结论，{Fjk}覆盖F。这就完成了证明。B.2.6支持定理5.2和引理5.1的引理B.9。让δ**如引理5.1所示。如果δ≥ δ**≥ ε>0，则：supPY，Z∈PY，ZP纽约，Z（E）*(^γ) ≥ δ) ≤ 1.- κ.那是^γ∈ G*（δ） 当δ≥ δ**≥ ε > 0.证据在整个证明过程中，让λ*(θ, γ),^λ(θ, γ), θ*(γ),^θ(γ), γ*^γ应如备注B.1所示。修正任何δ>δ**（δ=δ时的情况）**（源于连续性）。

如果σ：=E*(^γ) ≥ δ ≥ ε>0，则为E*（γ）：=supγ∈Γinfθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）≤ infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧ph`b（·，θ，^γ，λ）+3ε=infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）+infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ）*, λ) - infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）-infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ）*, λ) - infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）+ 3ε≤ infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）-infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ）*, λ) - infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）+ 4ε现在注：infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）≤ infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - 最大λ∈∧phb（·，θ）*(^γ), ^γ, λ) + ε≤ 最大λ∈∧phb（·，^θ（γ）*), γ*, λ) - 最大λ∈∧phb（·，θ）*(^γ), ^γ, λ) + 2ε≤ 最大λ∈∧phb（·，^θ（γ）*), γ*, λ) - phb（·，θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ)) + 2ε≤ phb（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -Ph`b（·θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ)) + 2ε.类似地：infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）- infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ）*, λ)≤ infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）- 最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ) + ε≤ 最大λ∈∧Pnh`b（·θ）*(^γ), ^γ, λ) - 最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ) + 2ε≤ 最大λ∈∧Pnh`b（·θ）*(^γ), ^γ, λ) - 最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) + 2ε≤ Pnh`b（·θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ)) - 最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) + 2ε.因此我们有：E*(^γ) ≤ phb（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -Ph`b（·θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ))-最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -Pnh`b（·θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ))+ 8ε.此外，σ=E*(^γ) ≥ E*(γ*) 意味着^γ，γ*∈ G（σ）。因此：E*(^γ) ≤ supθ，θ∈Θsupγ，γ∈G*（σ） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|，因为ε>0可以任意小。

现在定义：En，j:=（supθ，θ∈Θsupγ，γ∈G*（σ） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|≤ T（δj）），（B.55）和：En:={j:δj≥δ**}注意，通过选择δ>2H，我们得到了：supPY，Z∈PY，ZP纽约，ZEcn，0= 此外，根据霍夫丁不等式的统一版本（例如Koltchinskii（2011）定理4.6，第71页），我们有：supPY，Z∈PY，ZP纽约，ZEcn，j≤ 经验-tj！，每j∈ N.我们根据工会的规定得出结论：supPY，Z∈PY，ZP纽约，Z（Ecn）≤X{j:δj≥δ**}经验-tj！≤∞Xj=0exp-tj！≤ 1.- κ.现在，关于事件En，对于每一个δ≥ δ**我们有：supθ，θ∈Θsupγ，γ∈G*（δ） 最大λ，λ∈∧|（Pn）- P）（h`b（·，θ，γ，λ）- h`b（·，θ，γ，λ））|≤ T（δ）。现在假设{E*(^γ) ≥ δ} ∩ En6=. 那么在这个事件中，我们有：σ：=E*(^γ)≤ supθ，θ∈Θsupγ，γ∈G*（σ） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|≤ T（σ）。然而，请注意，这意味着σ≤ δ**关于这个事件。但是自从∑≥ δ > δ**假设我们有矛盾。我们的结论是{E*(^γ)} ≥ δ} ∩ En=, 或者相当于{E*(^γ) ≥ δ}  Ecn，其中事件Ecn的概率最多为1- κ.C示例的其他详细信息C。1例1：同时离散选择。1.1假设2.1、2.2和2.3的验证我们现在将继续验证假设2.1、2.2和2.3。首先请注意，假设2.1是微不足道的，因为概率空间(Ohm, A、 P）是完备的，U和Θ都是欧氏范数的紧度量空间。为了验证假设2.2，请注意事实域的多功能可以重写为：G-（Y，Z，θ）=U∈ U:英国∈ [πk（Zk，Y）-Kθ） ，1]，如果Yk=0，英国∈ [-1，πk（Zk，Y）-Kθ） ]，如果Yk=1。. （C.1）从这里我们得出结论，对于任何∈ U:d（U，G）-（Y，Z，θ））=maxk{Yk=0}|πk（Zk，Y）-Kθ) -uk |++{Yk=1}| uk- πk（Zk，Y）-Kθ)|+.