（6.27）（ii）变形GOE，即C=IN+GOE（宽度σ=0.2），额外尖峰位于{3，3.5，4.5，6}。（iii）条目Cij=0.6 | i的Toeplitz矩阵-j |尖峰位于{7，8，10，11}；（iv）幂律分布特征值（见[28]和第3章），λ=-0.6（或λmin=0.8。对于ui的经典位置，使用一个大的N代理，可以得到[28]：ui=-λ+（1+λ）rNii∈ [[1，N]]。（6.28）请注意，最后的幂律分布会自动生成有界数量的异常值。此外，由于我们在N和T有界的情况下工作，C的最大特征值仍然有界。我们绘制了图6.5中估算器公式（6.26）和oracle估算器公式（6.2）的结果。总的来说，估计器（6.26）对总体特征值和异常值都给出了准确的预测。我们考虑了几种异常值的配置。对于（i）的情况，我们可以看到两个孤立的doutliers是正确估计的。对于变形的GOE或Toeplitz情况，选择的离群值彼此接近一点，结果与oracle估计一致。对于幂律分布频谱的更复杂情况，没有明显的右边缘，我们可以看到（6.26）再次与oracle估计器很好地匹配。然而，我们注意到，经验最优RIE（6.26）系统地低估了小特征值。第8章将对这种影响进行更详细的研究。作为进一步检查，我们在此提供了“最佳”标度η的数值测试。如上所述，【38】中显示的值η=N-1/2提高了（6.26）中的上限。然而，人们可能想知道，对于真实（或合成）数据，这个值是否确实是最优的。为了验证这一点，我们研究了作为η函数的估计器（6.26），并计算了与oracle估计器Ξora相对应的均方误差。对于η=αN-1/2和α∈ [0.01, 50].

对于每个C，我们使用多元高斯过程评估100种不同实现E的误差。结果如图6.6所示。α的最佳值≈ 1.5对于所有示例，C是Toeplitz矩阵（黄色点）时除外，其中α的最佳值≈ 8.4.6.6. 自由乘法模型的扩展。如【37】中所强调的，对整体特征值的最佳RIE的评估可以扩展到更一般的乘法随机矩阵模型（对于加性噪声模型，请参见附录D）。特别是，可以（正式）推导出测量模型（2.80）的整体特征值的最佳非线性收缩函数（6.5），该模型推广了样本协方差矩阵的情况（见第3.2.1节）。为此，让我们定义M..=C1/2OhmBOhm*C1/2式中，B是N×N对称旋转不变量噪声项，且Ohm 是根据Haarmeasure分布的N×N随机旋转矩阵。可以很容易地从公式（2.100）中检查出Tr[GM（z）C]=N（zgM（z）- 1） SB（zgM（z）- 1) . （6.29）利用S变换的解析性，我们定义了函数γ带ωb，例如：limz→λ-i0+SB（zgM（z）- 1） ：=γB（λ）+iπρM（λ）ωB（λ），（6.30），因此，自由乘性噪声模型（2.80）的体特征值的最佳RIE可以从（6.4）：ξora中推断出来。我~ F（λi）；F（λ）=λγB（λ）+（λhM（λ）- 1） ωB（λ）。（6.31）注意，可以通过插入等式来检索估计器（6.5）。（2.44）和（6.30）转化为等式（6.31）。我们省略了[37]中的细节，并得出结论，公式（6.31）确实概括了Seq。(6.5). 我们再次看到，最终的解决方案并不明确依赖于C，但在某种程度上要求a优先于矩阵B的光谱分布。在（a）多个源（案例（i））中找到模型将非常令人满意。（b） 变形GOE（案例（ii））。（c） 托普利茨（案例（iii））（d）幂律（案例（iv））图6.5。

对于第6.5节开头的四种情况，数值估计的oracle估计量（6.26）（红线）与精确的oracleRIE估计量（6.2）（蓝点）进行比较，N=500，T=1000。结果来自于使用多变量高斯测量过程实现E的单个实现。我们可以得到公式（6.31）的显式公式（该模型的一些相关应用见第9章）。我们顺便强调，我们也可以使用公式（2.100）推导出大部分分布的均方重叠（4.3）。为此，我们调用关系式（4.9）和等式（2.100）来获得[37]：Φ（λ，u）=μβm（λ）（λ- uαm（λ））+πuβm（λ）ρm（λ），（6.32），其中我们定义了函数α和βmasαm（λ）：=limz→λ-i0+ReSB（zgM（z）- 1)βm（λ）：=limz→λ-i0+ImSB（zgM（z）- 1)πρM（λ），（6.33），下标M表示“乘法”。10-210-1100101102√Nη202530354045505560 | |Ξ（η）- Ξora||2身份反向WishartDeformed GOEToeplitzPower定律图6.6。最优估计量（6.26）和oracle估计量之间的均方差。现在将估计器（6.26）作为η的函数进行研究。x轴（对数刻度）显示α值=√为了清楚起见，Nη。我们考虑了五个不同的C示例（与图6.5和单位矩阵中的配置相同）。对于每个示例，我们生成100个独立的E实现，其中N=500，T=1000。我们在结束本技术部分时，提到了一个开放的问题，即这些结果在存在异常值的情况下的扩展。事实上，很有意思的是，看看最优RIEformula（6.31）是否仍然是通用的（正如我们所认为的那样），因为大块特征值和异常值的清理公式是相同的。块矩阵表示法（C.8）在这方面可能很有用。应用：马科维茨投资组合理论和之前的“清理”方案7.1。

马科维茨最优投资组合理论。对于不熟悉马科维茨最优投资组合理论的读者，我们在本节中回顾了一些最重要的结果。假设投资者想要投资一个包含N种不同资产的投资组合，并确定最佳“权重”。一种直观的策略是所谓的均值-方差优化：投资者寻求分析，以便在给定预期回报目标的情况下，将投资组合的总体二次风险降至最低。不难看出，这种均值-方差优化可以转化为具有线性约束的simplequadratic优化程序。在进入更多的数学细节之前，让我们介绍一些将在下面使用的符号。我们假设我们观察N种不同股票的回报时间序列。对于每种股票，我们观察到一个大小的时间序列，其中T在实践中通常大于N。这将产生（归一化）N×T返回矩阵xy=（Yit）∈ RN×t真实相关矩阵由Hyityjti=Cijδtt（7.1）定义，其中时间方向上没有相关性只是第一个近似值，因为已知股票市场中存在微弱但持久的线性相关性。在当前的“大数据”时代，我们自然而然地将自己置身于高维生活中，T→ ∞ 有限比率q=N/T。马科维茨的最优投资组合相当于解决以下二次优化问题minw公司∈RNw公司*Cws。t、 w*g级≥ G（7.2），其中G是预测因子的N维向量（假设是确定性的，由经济数据的深度分析等给出），G是预期收益。通过引入拉格朗日乘子γ，将这个有约束优化问题改写为无约束优化问题，可以很容易地解决这个数学问题：minw∈RNw公司*Cw公司- γw*g。

（7.3）假设C是可逆的，不难找到最优解和γ的值，因此总体预期收益率正好是G。由wc=GC给出-1克*C-1g，（7.4）这需要C和g的知识，这是先验未知的。如上所述，根据投资者的信息和预期，形成未来回报预期是投资者或财务分析师的工作，因此我们假设g是给定的。即使这些预测完全错误，寻找与这些预期一致的最低风险投资组合仍然是有意义的。我们仍然面临着估计C的问题，或者可能是C-1重新应用马科维茨公式前，等式（7.4）。我们将在下文中看到，为什么在反转C并确定权重之前，应该找到C本身的最佳估计量。我们可以检查所谓的Karush-Kuhn-Tucker条件是否满足。这种分配策略的最小风险是什么，衡量为投资组合回报的方差？如果知道总体相关矩阵C，则与WC相关的真实最优风险将由truehwC，CwCi=Gg*C-1克。（7.5）然而，最佳策略（7.4）在实践中无法实现，因为矩阵C未知。那么我们可以做什么呢？投资组合的已实现风险估计有多严重？7.1.1. 预测和实现的风险。使用马科维茨最优投资组合的一种非常天真的方法是使用经验矩阵E而不是C来应用（7.4）。回顾第3章和第4章的结果，不难看出，只要T与N相比不够大，这种策略就会受到强烈偏差的影响，这正是我们在这里考虑的情况。

尽管如此，使用经验矩阵E的最佳投资权重为：wE=GE-1克*E-1g，（7.6），因此，该投资组合的最低风险为byRin=hwE，E wEi=Gg*E-1g，（7.7），称为“样本中”风险或预测风险。让我们假设g与C（因此也与E）无关。然后，使用关于g的E的凸性*E-我们从Jensen不等式中发现*E-1g]>g*EE-1g=g*C-1g（7.8），因为E是C的无偏估计量。因此，我们得出结论，样本内风险低于“真实”风险，因此，我们的最优投资组合受到样本内偏差的影响：其预测风险低估了真实的最优风险，而未来的样本外风险或已实现风险更是如此，即在估计期之后的时期内实现的风险。让我们用这个样本外周期的经验矩阵来表示；样本外风险自然由以下定义：Rout=hwE，EwEi=Gg+E-1EE-1g（g+E-1g）。（7.9）对于大型矩阵，我们期望结果是自平均的，并由其期望给出。因为我们可以假设噪声独立于E中的噪声，所以我们得到大N[133]：w*EEwE公司≈ w*ECwE（7.10）和一个人很容易从等式（7.5）是最小可能风险的事实中得到以下不等式：Rtrue6 Rout。我们在图7.1中绘制了这些不平等的图示，使用等效风险度量是波动率，它只是投资组合策略方差的平方根。所谓的有效边界，我们假设g=（1，…，1）*. 对于给定的C（这里是围绕单位矩阵的移位GOE，σ=0.2），我们构建WC并比较等式。（7.5），（7.7）和（7.9），q=0.5。我们看到，使用wEis显然过于乐观，可能会在实践中导致灾难性的结果。

我们强调，这一结论适用于不同的风险衡量标准【6，7】。0 20 40 60 80 100 120 140 160hw，Cwi020406080100Gtruepredicted（样本内）实现（样本外）图7.1。与g=（1，…，1）的均值-方差最优投资组合（7.4）相关的有效前沿*C a围绕单位矩阵移动GOE，σ=0.2，q=0.5。蓝线将预期收益描述为真实最优风险（7.5）百分比的函数。绿线表示预测（样本内）风险，红线表示已实现（样本外）风险，远高于真实风险。7.1.2. 高维随机预测的情况。在大矩阵的限制下，在对结构g进行一些假设的情况下，我们可以使用RMT的工具使这些不等式更加精确。特别是，我们将表明，我们可以使用Marˇcentko Pasturequation和自由概率理论将真实风险和已实现风险联系起来。为了简单起见，让我们假设~ NN（0，IN），（7.11），但对于任何方向与C或E无关的向量g，结果都成立，因此g被归一化为g*g=N，即g的每个分量都是有序统一的。我们强调，这些假设不一定是现实的（预测值可能会沿着C的主要成分产生偏差），但允许我们更精确地量化样本内/真实/样本外风险之间的关系。使用“坏”预测因子g后的次优回报超出了本次审查的范围。设M是一个独立于向量g的正定义矩阵，则在较大的N极限下，g*MgN=NTr[gg*M] =自由度G*gNν（M）（7.12），其中我们记得，Д是归一化跟踪运算符。因此，根据我们的假设（7.11），我们可以很容易地减少，g*MgN公司- ^1（M）→N→∞0。（7.13）现在设置M={E-1，C-1} ，我们将等式（7.13）应用于等式。

（7.7）、（7.5）和（7.9）分别为→GNИ（E-1） ，R真→GNИ（C-1） ，路由→G^1（E-1CE-1） NИ（E-1） ，（7.14）其中，我们回顾，Д是等式（2.61）中定义的归一化跟踪运算符。让我们关注上面的前两个术语。对于q<1，我们已经在上面显示了在高维区域中，onehas^1（C-1) = (1 -q） ^1（E-1） –见等式（3.24）。因此，对于N→ ∞Rin=（1-q） 真的。（7.15）因此，对于任何q∈ （0，1），我们发现与wEalways相关的样本内风险提供了一个过于乐观的估计值。更好的是，我们能够准确量化低估的风险，这要感谢Sto（7.15）。接下来，我们想为“样本外”风险找到相同类型的关系。我们记得，在第3章的框架下，我们可能总是重写E=C1/2WC1/2，其中W是参数q的whiteWishart矩阵，独立于C。因此，对于样本外风险rout=G^1（C-1瓦-2） NИ（E-1） 当N→ ∞. 然后，技巧是注意到在大矩阵的极限中，W和C区域是无交感的。这使得我们可以从自由度关系（2.64）得出如下结论：-1瓦-2） =^1（C-1） ^1（W-2） ，（7.16）因此，使用渐近关系（3.24），我们发现：Rout=G（1-q） ~n（W）-2） NИ（C-1） ，（7.17）最后，可以容易地计算出Д（W-2） 通过执行大z→ 0通过将C替换为in，对等式in（3.24）中给出的Marˇcentko牧场密度的Stieltjes变换进行扩展，即tosayД（W-2) = (1 -q）-3对于q<1。我们最终得到：Rout=Rtrue1-q、 （7.18）总之，我们得到了以下渐近关系：Rin1-q=Rtrue=（1-q） Rout，（7.19），这适用于完全一般的C。注意，在【133】中，对于C=Inan和【134】中稍后的内容，在稍微不同的上下文中也得到了类似的结果。

因此，如果一个人用“天真”的权重wE进行投资，那么预测的风险会低估已实现的风险一个因素（1-q） 在极端情况下，N=T或q=1，样本内风险等于零，而样本外风险发散。因此，我们得出结论，正如所宣布的那样，将样本协方差矩阵E用于马科维茨优化问题可能会导致灾难性的结果。这表明，为了控制样本外风险，我们应该有一个更可靠的C估计量。7.1.3. 样本外风险最小化。在最后一节中，我们坚持认为投资组合管理中要控制的相关数量是已实现的样本外风险。从EQ中也可以清楚地看到。（7.19）使用样本估计值E是一个非常糟糕的主意，因此，很自然地会问：应该使用哪一个C来最小化样本外风险？马科维茨公式（7.4）天真地建议人们应该寻找所谓精度矩阵C的可靠估计量-但事实上，由于预期样本外风险与矩阵C呈线性关系，因此应估计矩阵X。有两种不同的方法可以证明oracle估计器确实会产生最佳的样本外风险。第一种方法是根据条件期望重新表述马科维茨问题。事实上，马科维茨问题可以被认为是在投资日观察到的预期未来风险的最小化。更正式地说，它可以写为minwE“兜售Pt+Toutt=t+1hw，rtiF（t）#，s.t.w*g级≥ G，（7.20），其中F（t）是时间t（投资数据）的所有可用信息，Toutis是样本期外，r是我们投资组合中N只股票的收益向量。假设iid返回意味着最优权重独立于r的未来实现。

此外，我们假设P（rt）∝ P（rt | C）P（C）对于t>t，其中P（C）是人口协方差矩阵C上的（任意）先验分布。然后有：E“Toutt+ToutXt=t+1hw，rtiF（t）#，=*w，ToutXtEhrtr*t型F（t）iw+，=*w，EhCF（t）iw+。（7.21）回顾第5章的结果，我们发现，在收益率的多变量高斯假设下，E[C | F（t）]=hCiP（C | E）（见等式（5.11））。因此，使用结果公式（5.12），我们可以认为，我们在计算方差时忽略了预期回报率g，因为后者通常比波动率小。我们预计这一结果也适用于多变量学生，见第3.1.3节。我们可以得出这样的结论：oracle估计器是在特定框架中最小化样本外风险的估计器。对于我们现在将要介绍的相同结果，还有另一个可能更直接的推导。它基于关系式（7.9）。让我们在第5章和第6章中讨论的旋转不变量估值器的上下文中明确地说明这一点。让我们将RIE定义为Ξ=NXi=1ξ（λi）uiu*i、 我们回忆起我∈[[1，N]]是样本特征向量，ξ（·）是必须确定的函数。假设我们使用这个RIE构造我们的投资组合wΞ，我们假设它独立于预测向量g。同样，为了简单起见，我们假设g是一个均值和单位方差为零的高斯向量。因此，估计值（7.13）仍然有效，因此与投资组合相关的实际风险wΞ读数为N→ ∞:Rout（Ξ）=全球技术法规Ξ-1CΞ-1.TrΞ-1.. （7.22）利用Ξ的谱分解，我们可以重写分子asTrΞ-1CΞ-1.=NXi=1hui，Cuiiξ（λi）。（7.23）另一方面，可以将公式（7.22）的分母改写为TrΞ-1.=NXi=1ξ（λi）！。（7.24）将最后两个方程重新组合后，我们可以重写公式（7.22）asRout（Ξ）=GNXi=1hui，Cuiiξ（λi）NXi=1ξ（λi）！-2.

（7.25）我们的目标是找到与样本特征值[λj]j相关的最佳收缩函数ξ（λj）∈[[1，N]]，从而将样本外风险降至最低。这可以通过解决agiven j的以下一阶条件来实现：Rout（Ξ）ξ（λj）=0。（7.26）通过对（7.25）中ξ（λj）进行导数，可以得到- 2huj，Cujiξ（λj）ξ（λj）NXi=1ξ（λi）！-2+2ξ（λj）ξ（λj）NXi=1hui，Cuiiξ（λi）！NXi=1ξ（λi）！-3=0，（7.27），可以检查该解是否由ξ（λj）=huj，Cuji：=ξora精确给出。j、 （7.28）这是我们在第5章和第6章中研究的oracle估计量。请注意，这一结果已在[135]中获得，其中作者还表明，该估值器最大化了Sharperatio，即策略的预期回报除以其波动性。作为结论，在某些分布假设下，在旋转不变估计类下，最优RIE（6.5）实际上最小化了样本外风险。此外，byRout（Ξora）给出了相应的“最优”已实现风险=全球技术法规（Ξora.）-1., （7.29）我们使用了值得注意的特性，即∈ Z： Tr[（Ξora.）nC]=Tr[（Ξora.）n+1），（7.30），直接遵循通式（6.2）。7.1.4. 逆Wishart先验的最佳样本内和样本外风险。在本节中，我们将结果（7.29）专门用于C是参数κ>0的逆Wishart矩阵的情况，对应于简单线性收缩最优估计量。请注意，我们将在本节中假设没有异常值（r=0）。首先，我们通过z从公式（2.55）中推断→ 0表示Д（C-1) = -gC（0）=1+2κ，（7.31），因此我们从等式（7.14）中得出，在大N极限下：Rtrue=GN2κ1+2κ。（7.32）接下来，我们从公式（7.29）中可以看出，最佳样本外风险需要计算Д（（Ξora）-1).

一般来说，这种归一化的计算非常复杂，但我们将证明，当C是逆Wishart时，会出现一些真正的简化。在LDL中，最终结果（其推导在本节末尾推迟）为：Д（（Ξora.）-1) = -（1+2qκ）gE(-2qκ）=1+2κ（1+q（1+2κ）），（7.33），因此我们从公式（7.29）中得出=GN2κ（1+q（1+2κ）），1+2κ（1+q（1+2κ）），（7.34），从等式中可以清楚地看出。（7.34）和（7.32）对于任何κ>0：Rout（Ξora.）Rtrue=1+q2κ1+2κ（1+q（1+2κ））>1，（7.35），其中最后一个不等式只有在q=0时才变为等式，这是应该的。评估与oracle估计器相关的样本内风险也很有趣。它被定义为byRin（Ξora.）=全球技术法规（Ξora.）-1E（Ξora.）-1.NΞ（（Ξora.）-1） ，（7.36），其中最具挑战性的术语是分子。如上所述，据我们所知，这一项的计算在一般情况下并非微不足道，而是利用了Ξora的特征值这一事实。如（6.24）所示，我们可以再次找到一个闭合公式。如上所述，我们将本节末尾的推导降级，结果为：^1（Ξora.）-1E（Ξora.）-1.= -(1 -z）gE（z）+zgE（z）z=-2qκ=（1+2κ）（1+2qκ）2κ（1+q（1+2κ））。（7.37）因此，通过堵塞等式。（7.37）和（7.33）转化为等式（7.36），我们得到了（Ξora.）=GN2κ（1+2qκ）（1+2κ）（1+q（1+2κ）），（7.38），因此我们用公式（7.32）推断，对于任何大于0的κ：Rin（Ξora.）Rtrue=1-q1+q（1+2κ）6 1，（7.39），其中不等式变为q=0的等式，如上所述。最后，可以很容易地从Eqs中进行检查。（7.19），（7.35）和（7.39），thatRin（Ξora.）-Rin（E）>0，Rout（Ξora.）-Rout（E）6 0，（7.40）明确表明，在高维框架中，我们确实通过使用oracle估计器而不是样本协方差矩阵来减少过度拟合。本技术部分的目的是得出结果（7.33）和（7.37）。我们从Eq开始。

（7.33）并且我们使用当N→ ∞. C被假定为参数κ>0的逆Wishart。因此，一个人有Ξ（（Ξora.）-1） =NNXi=11+αs（λi- 1） =αsNNXi=11-αsαs+λi，（7.41），使用公式（5.19），我们还得到αs=1+2qκ，和1- αsαs=2qκ。我们可以得出如下结论：Д（（Ξora.）-1) ~ （1+2qκ）gE(-2qκ），（7.42），其中我们强调Stieltjes变换是解析的，因为它的参数对于任何κ>0都是非正的。这是公式（7.33）的第一个等式，该等式将归一化轨迹的计算与E的Stieltjes变换联系起来。当C是逆Wishart时，我们知道GEI是显式的，由（3.41）给出。尽管如此，等式（3.41）似乎偏离了z=-2qκ，因此在评估gE时必须小心(-2qκ）。为此，我们确定z=-2qκ+ε，ε>0，并将式（3.41）的分子展开为ε的幂，得出：gE（z）=q- zz（1+q- z） +O（ε），意味着对于ε=0，我们得到(-2qκ）=-1+2κ2κ（1+q（1+2κ））。（7.43）然后很容易从最后一个等式和等式（7.42）推导出等式（7.33）。公式（7.37）的计算有点繁琐，但与前一段的推导非常相似。事实上，使用它（Ξora）-1E（Ξora.）-1共享相同的本征基，我们有公式（6.24）：Д（（Ξora）-1E（Ξora.）-1） =NNXi=1λi（1+αs（λi- 1） ），（7.44），经过一些简单的操作后得出：Д（（Ξora.）-1E（Ξora.）-1） =αsNNXi=1“1+αs（λi- 1)-1.- αs（1+αs（λi- 1))#. （7.45）定义z=-2qκ<0，可以使用与上述Stieltjes变换（及其相对于z的导数）相同的识别来推导公式（7.37）的第一个等式。式（3.41）的导数为：gE（z）=z（z+2qκ）“z（2κq+z）1+κ-κ（κ（q- z+1）+1）pκ（z+q- 1)- 2κz（1+2κ）！- 2（qκ+z）β（z）#，（7.46），其中β（z）由β（z）定义z（1+κ）- κ(1 - q） +qκ（z+q- 1)- 2κz（1+2κ），（7.47），这是等式的分母。

(3.41). 我们省略了进一步的细节来证明Eq的第二个等式。（7.37）依赖于泰勒展开-2qκ的精神与前一段相同。这将使Stieltjes变换及其导数正则化，并最终获得：- 2qκgE(-2qκ）=q（1+2κ）q+2（1+κ+2qκ（1+κ））2κ（1+q（1+2κ））（7.48），我们通过将最后一个方程插入式（7.37）中，得出所需结果。7.2. 简要回顾以前的清洁方案。在本节中，我们对文献中通过在将协方差矩阵用于投资组合构建之前清理协方差矩阵来规避上述“样本中”诅咒的许多尝试进行了简短的调查。即使下面考虑的大多数配方都不是最优的（在统计意义上），也有很多有趣的想法被提出来推断未知总体矩阵的统计特性。正如我们将看到的，大多数方法都是在Marˇcentko&Pastur的开创性工作之后出现的【17】。然而，我们强调，关于估计大型协方差矩阵的文献太多，因此不可能对所有可用的结果进行公正的判断。我们将只考虑RMT结果提供有趣见解的方法，并参考[28、136、92]以获取补充信息来源。我们将介绍四种不同类别的估计量。第一种是线性收缩法。第5章和第6章详细研究了该估计器，但在这里，我们重点讨论收缩强度的估计。正如我们将看到的，RMT将提供非常简单的方法来根据数据估计参数。然后，我们将介绍[27，23]中的特征值裁剪方法，其目的是将“可靠”特征值与“噪声”特征值分离。

该方法的基本思想是我们在第3节中介绍的尖峰协方差矩阵模型，其中真实特征值包含一个有限的尖峰数和一个退化特征值≈ 1.- O（r/N），多重数为N- r、 第三种方法，我们称之为特征值替换，用于解决逆Marˇcenkopasur问题（见第3节）。粗略地说，在存在大量特征向量的情况下，可以将Marˇcenko Pastur方程离散化，并使用eithera参数方法[28]或非参数方法[32]解决反问题。最后一种方法涉及因子模型或结构化协方差估计，其中人们试图通过数据基础结构的简化模型来解释相关矩阵。这是金融和经济学中非常流行的方法，我们将看到RMT如何允许最近的一些进展。所有这些方法将在下一章中使用真实的财务数据进行测试。7.2.1. 线性收缩。我们记得线性收缩由Ξlin=αsE+（1）给出- αs）IN，α∈ [0, 1]. （7.49）如第5章所述，该估计量在高维统计中有着悠久的历史[15，16]，因为它提供了一个简单的证明，即当N和T都较大时，样本估计量E是不一致的。在[16]或[130]中，可以从更面向RMT的角度，对高维状态下该估计量的性质进行非常详尽的介绍。很容易看出，Ξlins与样本估计量E具有相同的特征基，因此是一个旋转不变估计量，Ξlin=NXi=1ξlinuiu*i、 ξlin=1+αs（λi- 1） （7.50）我们已经强调，该估值器具有所有预期特征：小特征值向上移动（与样本特征值相比），而顶部特征值向下移动（见图7.2）。

如上所述，该估计值已在【16】中进行了充分研究。最值得注意的是，作者能够确定一个渐近最优公式，直接从数据中估计αs。保留第3节的符号，我们的数据集是Y=（Y，…，yT）∈ RN×Tand我们假设E[Yit]=0，E[Yit]=T-1对于所有i∈ [[1，N]]。定义：β=NTr[（E- IN）（E）-英寸）*]γ..= 最大β，TTXk=1NTr[（yky*k- E） （yky*k- E）*]!, （7.51）然后bαs=1-βγ（7.52）是高维区域αsin的一致估计量【16】。利用RMT的工具，更准确地说，利用第3节和第4节的结果，我们可以找到另一个αs的一致估计量，该估计量使用了以下事实：线性收缩隐含地假设基础相关矩阵是一个带参数κ的逆Wishart矩阵，从中可以推导出αs=（1+2qκ）-1、可以使用以下关系从数据中提取κ的值（对于q<1有效）：gC（0）=（1-q） gE（0）=1+2κ。（7.53），其中最后一个等式可从（2.55）和（3.24）中推导得出。因此，我们从E-1as：κ=（1-q） Tr E-1N- 1.（7.54）然而，只有当k不是太大时，即当C与单位矩阵显著不同时，该估计才可靠（在相反的情况下，（1- q） Tr E-1.≈ N以便可以获得κ的负值）。估算κ的一个更可靠的替代方法是第4.2章中引入的“双样本”检验，见等式（4.40）和[124]。7.2.2. 特征值剪裁。该方法可能是第一个基于RMT的大型协方差矩阵估计方法。有几篇论文【22、27、23】对此进行了研究，其中以非常直观的方式使用Marˇcenko Pasturd分布来校正样本特征值。

该方法的思想如下：所有超出经验矩阵最大期望特征值的特征值λ+=（1+√q） （在零假设范围内）被解释为信号，而其他是纯噪声（见图3.5）。另一种解释是，离群值是真实因素，而其他离群值则毫无意义。在最近的一篇论文【97】中，这一观点变得严格，因为如果我们假设C是（3.56）中定义的INA的有限秩扰动，那么E的整体特征值的参考矩阵仅对应于（各向同性）Wishart矩阵W。不同的是，对于这个特定的模型，这些体积特征值应该被视为纯噪声，而右边缘（1+√q） 可以解释为噪声和信号之间的阈值。如果有一个简单的分离信号特征值的规则，我们应该如何清除噪声？Laloux等人[27]提出了以下规则：首先对矩阵E进行对角化，并保持IGenvector不变。然后应用以下方案对样本特征值进行去噪：Ξclip=NXi=1ξciuiu*i、 ξ夹子。i=（λiifλi>（1+√q） 否则为λ，（7.55），其中λ的选择应确保TrΞclip=特雷。粗略地说，这种方法只是说明噪声特征值被缩小到一个（单一）常数，这样轨迹就得以保留。此过程称为剪裁，图7.2显示了它如何向上移动最低特征值，以避免先验异常低方差模式。尽管如此，该方法还是解决了几个不同的问题。首先，人们经常从经验上观察到，尤其是在金融数据方面，由矩阵维数和时间序列长度确定的q=N/T值与“有效”值存在显著差异，这使得人们能够最好地拟合经验光谱密度【27】。

这种影响可能是由时间序列中较小的时间自相关[85、137、138]和/或整个分布中完整假设C=的不足引起的。在任何情况下，一个简单的方法是使用修正的上边缘λ+=（1+√qe ff）用于区分小麦和咖啡的阈值。[28]中提出的另一种可能性是引入一个微调参数αc∈ [0，1]使得dNαc最大特征值保持不变，而其他特征值仍由一个公共的|λ代替。很容易看出，对于αc=1，我们得到经验协方差矩阵，而对于αc=0，我们得到恒等矩阵。因此，αcP显示了马伦科牧场密度上限λ+的作用，并允许在E和中的零假设之间进行插值，就像线性收缩一样。然而，参数αcis的校准并非基于任何理论规则。0 1 2 3 4 5λi012345ξino清洁线夹（MP）图7.2。特征值剪裁（7.55）（红色普通线）对样本特征值的影响，阈值由（1）给出+√q） q=0.5，线性收缩率（7.50）（蓝色虚线），强度αs=0.5。我们看到最低特征值向上移动。关于该方法的另一个担忧是，我们从第6.3节中了解到，大型异常值的最佳估计值不是其简单的经验值λi。相反，当远离整体时，应将其向下移动七次，移动量等于-2q（在极限λi内 1). 因此，至少，这种偏移应包含在方程（7.55）的特征值剪裁方案中（相关讨论见[139]）。7.2.3. 特征值替换。特征值替换法背后的主要思想也是非常直观的，相当于将样本特征值替换为相应的“真”值，这些值是通过反转Marˇcenko Pastur方程（3.9）获得的。