威尔克斯定理决定了相对对数似然的渐近行为，特别是我们知道αQ | xN（P）≤ k→ Fχd（2k）表示所有P∈ Q、 其中Fχdis为χd分布的cdf。清晰的αQ | xN（P）≤ k意味着ep[ξ| xN]∈ IN（ξ）表示所有ξ。然后我们得到期望的结果，PEP[ξ| xN]∈ 信息全部ξ≥ PαQ | xN（P）≤ k→ Fχd（2k）。备注17。威尔克斯定理的条件与中心极限定理的条件密切相关，通常基于密度的可积性和连续性假设。结果是，αQ | x（P）→P-Distχd其中d是参数空间的维数，P-Dist是指在分布上，在P下的收敛性。详见Lehmann【15，第7.7节】。4稳健性和模型在本节中，我们将考虑无界随机变量的散度稳健性期望的行为，及其与“稳健性”统计估计的关系。我们认为样本量N是固定的。以下theo-rem补充了我们早期的渐近结果（通常是有界结果），以证明没有任何参数结构，大多数无界随机变量都没有有限的DR期望。定理7。设Q是一组测度，使得Q在采用有限混合（即测度的有限凸组合）时是闭合的。然后对于任意随机变量ξ，使得supQ∈Q{EQ[ξ]}=∞, 对于任何γ∈ [1，∞],Ek，γQ | x（ξ）=∞.证据对于任何>0，让Q∈ Q是这样一个度量，即EQ[ξ]>-2、对于任何措施P∈ Q、 我们确定混合物分布P（）=（1- ）P+Q。由此得出P（）∈ Q和，提供EP[ξ]>- ∞,EP（）[ξ]=（1）- ）EP[ξ]+EQ[ξ]≥ （1）- ）EP[ξ]+-1.→ ∞as→ 0

而且，我们知道L（P（）| x）=（1-）L（P | x）+L（Q | x）>（1-）L（P | x），so（为了符号简单，假设Q-MLE^Q e存在）αQ | x（P（））=-日志L（P（）| x）L（^Q | x）< -日志（1）- ）L（P | x）L（Q | x）→ αQ | x（P）<∞.因此→ 0，Ek，γQ | x（ξ）≥ （1）- ）EP[ξ]+-1.-克洛格（1）- ）L（P | x）L（Q | x）γ→ ∞.备注18。上述假设Q在度量的有限混合下闭合。如果我们假设Q是{Xn}n∈Nare iid，那么情况就不是这样了。然而，对于N<∞, 当Q与密度族f（·；Q）相关联时，几乎相同的证明成立，并且该密度族在有限混合物中是封闭的。（唯一重要的变化是我们得到了不等式L（P（）| xN）>（1-）NL（P | x），其中P（）对应于混合物密度的测量值。）这一结果突出了参数结构在无界随机变量估计中的重要性，它限制了可考虑的概率测度类。可以从限制ξ非常大（正或负）值的概率的角度来考虑这种限制，从而确保足够的可积性，从而产生有限的期望。没有这些限制，不太可能发生的事件（就其性质而言，不会在数据中看到反弹，因此不会受到惩罚）会产生无限的预期。备注19。虽然我们尚未详细考虑该问题的数值方面，但通常情况下，还需要参数模型将问题m简化为有限维设置，而不需要在有限维度量空间上解决优化问题。鉴于参数族的重要性，考虑参数估计问题的“统计不确定性”与所考虑期望的“稳健性”之间的相互作用是很有意义的。

考虑到我们对似然理论的使用，与M-估计有着天然的联系，M-估计对应于通过最大化某些函数得到的估计。在给出一般结果之前，我们考虑一个简单的设置。示例4。考虑X，{Xn}Nn=1来自拉普拉斯（或双指数）分布的ID观测，已知标度1，未知平均u。也就是说，Xnhas密度f（x）=exp(-|x个- u|）。设Q表示相应的度量族，并用mea nu为度量写Qu。为简单起见，假设N是奇数，因此MLE由qm唯一给出，其中m是样本中值。这被称为“统计稳健”，见Huber和Ronchetti【11】，因为它不依赖于极端观测，因此不受异常值的影响。Q | xN散度由αQ | xN（Qu）=NXn=1给出|Xn公司- u|- |Xn公司- m级|.对于X和iid观测值，从与X和β>0相同的分布（β<0的情况是对称的），我们有1Q | xN（βX）=supunβu-kNXn=1|Xn公司- u|- |Xn公司- m级|o、 可以得出的第一个观察结果是，Ek，1Q | x（βx）通常是有限的，除非β<N/k。要看到这一点，请观察如果β>N/k，则最大化函数是线性的，并且随着u>maxn而增加≤NXn。假设β<N/k，最大化的函数是分段线性、凹和渐近递减的（对于正u和负u），因此给出了一个单位解。除了在某些n的u=x处，我们可以通过微分获得方程0 β-kNXn=1（I{Xn<u}- I{Xn>u}）=：β-NkG（u），其中 表示该语句是相等的，或者右侧的左右极限在符号中不同（如果某些n的Xn=u）。当我们寻找最大溶液时，我们通常可以说溶液为u*= infnu：β-NkG（u）>0°。我们还可以写EG（u）=（1- F（u））-F（u-)式中，F（y）=NPNn=1I{Xn≤y} 是我们观察到的经验cdf。

假设N为中等大小，这可以通过连续递增函数很好地近似（因此所有分位数都是唯一定义的），我们将获得u*≈ F-1.+βk2N.因此，u的优化选择*由经验+βk2nquintile给出。将其引入到我们的Ek方程中，1Q | xN（βX），我们得到了Ek，1Q | xN（βX）=βu*-kNXn=1|Xn公司- u*| - |Xn公司- m级|= βu*- （u*- m） NXn=1（I{Xn≤m}- I{Xn>u*})+NXn=1I{m<Xn≤u*}u*+ m级- Xn公司≈ βu*-u*- m级-u*+ m级kβ2N-NXn=1I{m<Xn≤u*}Xn公司≈1.-k4N公司βu*+3k4Nβm-k2NPNn=1I{m<Xn≤u*}（βXn）PiI{m<Xn≤u*}.我们看到，散度稳健估计取决于中位数βm和上分位数βu的加权组合*, 以及这两个边界之间的平均值。因此，这个数量仍然可以可靠地估计，因为它仍然不依赖于+βk2nquintile之外的尾部行为。更正式地说，该估计值的分解点（在不影响估计值的情况下可以任意增大的数据比例）为（1-βkN）。很容易看出（等式u[βX]=βu+2β）tha tEk，1Q | X（βX）=∞对于所有N，k，β>0。对于负β，可以得到一个明确的答案，但即使其近似的封闭形式表示也不美观。将该示例与正常示例（示例2）进行比较，我们可以看到，当考虑似然模式l时，经典估计问题中的“统计”稳健性与嵌入在Ek，1Q | x中的“参数不确定性”稳健性之间存在微妙的关系。下面的理论使该行为更加精确。定理8。考虑一系列iid随机变量X，{Xn}Nn=1，以及一系列描述不确定“位置参数”的度量值Q。换句话说，在Q下∈ Q、 假设X，{Xn}Nn=1是密度为exp（ψ（X）的分布的iid观测值-uQ）），因此Q由uQ=EQ[X]参数化∈R

假设ψ具有单调递增导数ψ（可能是不连续的），并且-∞ ≤ 林克斯→-∞ψ（x）<0<limx→+∞ψ（x）≤ ∞.然后，可以将该估计值与Cont、Deguest和Scandolo考虑的ri sk处的各种值扰动进行比较[7]。然而，需要注意的是，这种闭合形式仅适用于随机变量βX，而不适用于一般随机变量。注意，MLE参数（为简单起见，假设存在）由解utoPnψ（Xn）给出- u）=0。以下为等效项。（i） MLE参数的击穿点高于零（即，在不使MLE任意大或小的情况下，一些观测值可以任意大或小），（ii）对于MLE参数唯一定义的任何经验cdf，MLE参数相对于经验cdfof观测值是弱连续的，（iii）ψ有界，（iv）对于任何固定的k，N，对于所有β∈ R足够大（绝对值），Ek，1Q | xN（βξ）6∈ R、 其中ξ是观测值的iid副本。证据Huber和Ronchetti【11】的第3章给出了（i）-（iii）的等价性，尤其是定理3.6。我们试图证明（iii）和（iv）是等价的。首先，如果（iii）成立，则ψ为线性增长。设β>N supx |ψ（x）|。我们可以计算Q | x（βx）=supuQnβuQ-Xn公司ψ（Xn- uQ）- ψ（Xn- uMLE）o、 Asβ大于pnψ（Xn）的最大导数- uQ），我们可以看出括号中的术语是无界的，所以（iv）成立。如果β<-N s upx |ψ（x）|。为了说明（iv）意味着（iii），我们首先观察到（iv）意味着对于所有足够大的β，supuQnβuQ-Xn公司ψ（Xn- uQ）- ψ（Xn- uMLE）o=∞.换言之，ψ的上边界是一个线性函数。由于ψ=ψ′是单调递增的，这意味着ψ在上面有界。类似的论证表明ψ在下面有界。备注20。这种行为看似病态，但有一种自然的解释。

假设有一种估计技术不依赖于数据的某些属性，例如不依赖于某些极值。然后，考虑到该方法的拟合结果，我们不应该对该分位数的未来观测行为做出严格的陈述。在某种意义上，这就是我们的方法所捕捉到的。在Laplacedistributed的情况下，我们的MLE不依赖于分布尾部数据的行为（尤其不是以“线性”的方式，不像samplemean），因此我们有时不能对未来观测的线性函数的平均值说太多也就不足为奇了。同时，这种对力矩不存在的解释是不正确的，因为对于非常小的x的倍数，我们仍然有有限的力矩。相反，我们有以下几点。定理9。假设我们在定理8的设置中，写出ψ（±）∞) = 林克斯→±∞ψ（x）。Ifψ(-∞) < ±β/N<ψ(∞), 那么非线性期望Ek，1Q | xN（βX）是有限的，并且击穿分数至少δ=minnψ(∞) - |β|/Nψ(∞) - ψ(-∞),-|β|/N- ψ(-∞)ψ(∞) - ψ(-∞)o、 也就是说，对于m/N<δ，当Ek，1Q | xN（βX）保持有界时，至少可以使m个观测值任意大或小。证据在不丧失一般性的情况下，支持eβ>0（我们将证明β和-β同时）。考虑函数λ±（u，x）：=±βN-NNXn=1ψ（Xn- u）。根据一阶条件，±Ek，1Q | x（±βx）的值由±Ek，1Q | x（±βx）=±βu（x）给出-NXn=1ψ（Xn- u±（x））- ψ（Xn- uMLE（x））其中u±（x）是λ±（u，x）的溶液 0（再次 表示质量或符号的变化），而uMLE（x）是基于x的MLE。现在观察λ±不是相对于u增加的，而是ψ(-∞) < β/N<ψ(∞), 我们知道limu→∞λ±（u，x）>0和limu→∞λ±（u，x）<0。因此，λ±（u，x）只有一个（有限）溶液 0

因此，1Q | x（±βx）存在，并且是实的。我们现在需要确定分解分数。对于一组指数，让x（M，y）表示观测值集，其中xi替换为yifor i∈ M假设| M |=M，M/N<δ。我们希望证明有一个在y中是一致的界onEk，1Q | xN（±βX）。从罚函数的定义和非负性来看，很容易看出βu-（x（M，y））≤ ±Ek，1Q | xN（±βX）≤ βu+（x（M，y）），因此我们足以证明u±（x（M，y））在y中一致有界。由于ψ是单调的，我们观察到±βN-NXn6∈Mψ（Xn- u）-mNψ(∞)≤ λ±（u，x（M，y））≤ ±βN-NXn6∈Mψ（Xn- u）-mNψ(-∞).通过单调性，足以表明左右两侧的项具有u的有限值的根（因为这些值不依赖于y）。首先考虑下限，我们将其视为u→ ∞, 我们得到了±βN-NXn6∈Mψ（Xn-u）-mNψ(∞) → ±βN-1.-明尼苏达州ψ(-∞) -mNψ(∞) > 0，单位为u→ -∞,±βN-NXn6∈Mψ（Xn- u）-mNψ(∞) → ±βN- ψ(∞) < 因此，下限o nλ±（u，x（M，y））有一个有限根。类似的论点适用于上限。通过单调性，我们得出如下结论：u±（x（M，y））和henc e Ek，1Q | xN（±βx）在y上是一致有界的。备注21。考虑到熵与极值理论之间的密切关系，这些结果进一步表明了一类模型的极值、估计量的统计稳健性和分散稳健性估计的存在之间的关系。这一理论的发展可能具有未来的意义。综上所述，我们观察到Ek，1Q | x（x）的有限值的不存在也可以以令人惊讶的方式表现出来，正如我们从示例2的以下扩展中所看到的。示例5。考虑这样的情况，其中X，{Xi}Ni=1是iid N（u，σ），其中bo-thu和σ未知。

然后，发散惩罚为（写入^σ=NPNn=1（Xn-αQ | xN（Qu，σ）=Nlog（σ）+NXn=1（xN- u）2σ-Nlog（σ）-NXn=1（XN- (R)x）2^σ=N对数（σ/^σ）+NPNn=1（Xn- u）σ- 1..如果我们试图计算Ek，1Q | x（βx），我们得到Ek，1Q | xN（βx）=supu，σnβu-N2k对数（σ/^σ）+NPNn=1（Xn- u）σ- 1.o=supσnβ′X+βk2Nσ-N2k对数（σ/^σ）- 1+^σo、 这导致了一个问题，因为钻机ht上的术语相对于σ是无界的。仔细观察，该函数通常具有σ的局部最大值≈ ^σ，但对于σ的非常大的值，βk2Nσ项将占主导地位。因此，即使是大样本，也无法获得Ek，1Q | xN（βX）的确定值。解决这一问题的一种可能方法是稍微修改我们的方法，即包括先验分布，或通过添加额外的正则化项来确保上确界选择接近统计参数的值。例如，采用惩罚▄αQ▄xN（Qu，σ）=N对数（σ/^σ）+NPNn=1（Xn- u）σ- 1.+ （σ- ^σ）对于某些>0，当βk2N<k时，会产生一个确定的Ek值，1Q | xN（βX），尤其是当βk2N<k时，会得到一致的估计值，如N→ ∞.这种方法还有无数其他应用程序和示例，对其他设置的扩展（例如，有可能被更多的通用对象替换）也可能很有兴趣。虽然我们的结果侧重于（分析上更简单的）独立观测值的设置，但这种方法自然会扩展到模型包含相关观测值的地方，这在时间序列模型中很常见。附录引理2的证明。我们知道αQ | xN（Q）=-NXn=1logf（Xn；Q）f（Xn；P）+NXn=1logf（Xn；^QN）f（Xn；P）.考虑到第一项，通过平移和缩放，我们可以假设K=[0，1]。对于任何P∈ Q、 为与P相关的分布函数写入FP（x）=Rxf（y；P）dy。我们知道F-1根据假设（ii），a nor m与P的导数无关。

接下来观察自然对数是C∞在[C]上-1，C]，因此根据函数组成的标准结果，mapu 7→ l（u；Q，P）：=对数f（f-1P（u），Q）f（f-1P（u），P）ρ-H¨older连续，范数与P，Q无关。在P下工作，我们注意到Un=FP（Xn）是独立的，且均匀分布在[0，1]上，且EP[l（U；Q，P）]=DKL | X（P | Q）。在这种情况下，为了确保得到一个明确的答案，先验分布需要渐近指数地小于σ→ ∞, 对于σ的共轭逆GammaDistribution，情况并非如此。这使得解释计算变得困难。通过重标度，我们可以假定，在不损失一般性的情况下，对于每个P，Q∈Ql（·；Q，P）∈ Fρ={g：| g（u）-g（v）|≤ |u- v |ρ对于所有u，v∈ [0，1]}。因此，很难证明Fρ中函数的一致收敛速度。我们现在可以求助于推论17.3.3以及霍拉克和韦尔纳的定理17.3.1的证明[19，p.633]（其本身基于斯特拉森和达德利[21]），从而看到√NNXng（联合国）- E【g（U）】=: ZN（g），我们知道，对于任何η>0的情况，都有M足够大（与N无关）的supg公司∈FρkZN（g）k>M≤ η。（这通常是为了证明zn弱收敛于高斯过程，这是Donsker定理的一种形式。）通过重新排列，可以得出γ（N）：=supQ∈Qn公司-NXnlog公司f（Xn；Q）f（Xn；P）-DKL | X（P | Q）o=OP（N-1/2）（4）特别是，我们知道^qn包含Q中的值，所以，-NNXn=1logf（Xn；^QN）f（Xn；P）- DKL | X（P | QN）= OP（N-1/2）。（5） 从^qnw的定义可以看出，0=NNXn=1logf（Xn；P）f（Xn；P）≤NNXn=1logf（Xn；^QN）f（Xn；P）= supQ公司∈QNNXn=1logf（Xn；Q）f（Xn；P）≤ -DKL | X（P |^QN）+γ（N）。因此，0≤ DKL | X（P | QN）≤ γ（N）=OP（N-1/2）（6）然后使用（4）、（5）和（6）与三角形不等式得到结果。引理3的证明。

我们的证明依赖于三个事实：α是局部二阶二次方（通过泰勒定理），极大似然估计是一致的（允许我们用高概率约束三阶导数），α是凸的（控制其全局行为）。为了符号的简单性，我们将^θ写成^θ。由于MLE是一致的（并且以高概率存在），因此N→ ∞, 对于任何半径C>0，我们知道p（k^θ- θPk<C/2））→ 1.（7） 我们还知道，对于某些常数k（通常取决于C上的Pand非常小，但与N无关），我们有边界kA（θ）k≤ k表示具有kθ的llθ- θPk<C。组合这些，对于所有θ和kθ-^θk<C/2，来自泰勒定理αQ | x（θ）≥ N（θ-^θ）I^θ（θ-^θ）- kkθ-^θk.正如我们所知，I^θ不是退化的（在θP的邻域内一致），我们还可以假设（使k足够大）（θ-^θ）I^θ（θ-^θ）≥kkθ-因此，取C≤ k-2，在集合kθ上-^θk≤ 我们有αQ | x（θ）≥ Nkkθ-^θk- kkθ-^θk≥ Nk-kC公司kθ-^θk=Nk1.-kC公司kθ-^θk≥N2kkθ-^θk（8）注意k和C不依赖于N，因此（7）仍然有效。现在我们需要将（8）的界扩展到所有θ。我们知道αQ | xis凸和αQ | x（^θ）=0。对于任意点θ，使得kθ-θk>C/2，其在半径为C/2的球上围绕θ的投影由θπ=θ+λ（θ-^θ）：=^θ+C2kθ-^θk（θ-^θ）。因此，从（8）中，我们知道αQ | x（θ）≥λαQ | x（θπ）≥λN2kkθπ-^θk=NCkkθ-结合（8）和（9），我们知道αQ | x（θ）≥N2kkθ-^θk∧NCkkθ-^θk.现在考虑集合{θ：αQ | x（θ）≤ ρ} 。我们知道，对于这个集合中的所有θ，N2kkθ-^θk∧NCkkθ-^θk≤ ρ表示kθ-^θk≤CkρN∨r2kρN=：R.参考文献[1]莫里斯·阿拉斯。《理性人的构成：美国高等教育的姿势和行为批判》。《计量经济学》，21（4）：503–5461953。[2] Ole E.Barndorff-尼尔森。统计理论中的信息和指数族。约翰·威利父子出版社，1978年。

（r eprint 2014）。[3] A.Ben Tal和A.Nemirovski。鲁棒凸优化。《运筹学数学》，23（4），1998年。[4] Aharon Ben Tal、Laurent El Ghaoui和Arkadi Nemirovski。稳健优化。普林斯顿大学出版社，2009年。[5] 罗伯特·H·伯克。指数模型极大似然估计的相合性和渐近正态性。《数理统计年鉴》，43（1）：193–2041972。[6] Samuel N.Cohe N.《隐马尔可夫模型的不确定性和过滤：离散时间设置》。arXiv:1606.002292015。[7] Rama Cont、Romain Deg ue st和Giacomo Scandolo。风险度量程序的稳健性和敏感性分析。定量金融，10（6）：593–606201 0。[8] 汉斯·福尔默和亚历山大·希德。随机金融：离散时间的介绍。数学研究2 7。de Gruyter，柏林，纽约，2002年。[9] Marc o Frittelli和Emanuela Rosazza Gianin。风险度量中的输出顺序。《银行与金融杂志》，26（7）：1473–14862002。[10] 伊扎克·吉尔博阿和大卫·施梅德勒。Maxmin扩展了具有非唯一先验的实用程序。《数理经济学杂志》，18（2）：141-1531989年。[11] Peter J.Huber和Elvezio M.Ronchetti。稳健的统计数据。Wiley，2009年。[12] D.J.哈德逊。I似然函数的区间估计。皇家统计学会杂志。系列B（方法学），33（2）：256–2621971。[13] 约翰·梅纳德·凯恩斯。关于概率的论文。麦克米伦公司，1921年。（BN Publis hing再版，2008年）。[14] 弗兰克·奈特。《风险、不确定性和利益》，霍顿·米菲，1921年。（多佛出版社2006年重印）。[15] E.L.莱曼。大样本理论的要素。斯普林格，1999年。[16] E.L.莱曼和乔治·卡塞拉。点估计理论。斯普林格出版社，第二版，1998年。[17] Dilip Madan、Martijn Pistorius和Mitja Stadje。关于动态谱风险测度，一个极限定理和最优投资组合配置。arXiv:1301.353 1V42016。[18] J。

内曼和E.S.皮尔斯继续。关于统计假设的最有效检验问题。菲尔。变速箱。A、 231:289–3371933年。[19] Galen R.Shorack和Jon A.Wellner。应用于统计学的经验过程。约翰·威利父子出版社，1986年。（SIAM Classicsin应用数学2009年再版）。[20] S.D.西尔维。拉格朗日乘数检验。安。数学Statist，30（2）：389–4071959。[21]V.Strassen和R.M.Dudley。《中心极限Thorem和Epsilontropy》，数学课堂讲稿第89卷，第224–231页。Springer Verlag，1969年。亚伯拉罕·瓦尔德。最大风险最小化的统计决策函数。《数学年鉴》，46（2）：265–280，1945年。