因此，对于N→ ∞, 这种方法似乎不适用于异常值，因为我们知道谱密度ρEputs对这些异常值没有权重。然而，对于构建RIEs，这可能并不那么重要，因为粗略地说，所有we0 2 4 6 8 10 12 14 16λi02468101214ξioraclexperical RIEIW regulationquest（a）多个源（案例（i））。0 1 2 3 4 5 6 7λi0123456ξioracleperiomical RIEIW regulationquest（b）变形GOE（案例（ii））。0 2 4 6 8 10 12λi024681012ξioracleperiomical RIEIW regulationquest（c）Toeplitz（案例（iii））0 1 2 3 4 5 6λi012345ξioracleperiomical RIEIW regulationquest（d）幂律（案例（iv））图8.3。对于第6.5节开头的四个案例，将IW正则化（6.26）（红线）与经验RIE（6.26）（黄点）和Oracle估计器（6.2）（蓝点）进行比较，N=500，T=1000。我们还绘制了使用QuEST估计器（8.10）（绿线）得到的估计。使用多元高斯测量过程和第6.5节的四个规范，通过单个实现E生成结果a。需要知道的是无尖峰协方差矩阵E的Stieltjes变换（见第6.2.2节）。这就是说，“量化”特征值（预计接近经验特征值）定义为￠γi（u）…=新西兰元/无（i-1） /纳法-1E（p）dp，i∈ [[1，N]]，p∈ [0，1]，（8.6），其中u=（u，…，uN），和f-1E（p）…=supnx公司∈ R:FE（x）6 po，FE（x）=（最大值1.- 1/q，N-1PNi=1δ（ui）如果x=0，RxρE（u）du，否则，（8.7）ρE（u）=limη↓0Im gNE（u-iη）和gNE是离散化MarˇcenkoPastur方程（3.11）的唯一解，gNE（z）=NNXi=1z- ui（1- q+qzgNE（z））。（8.8）即使数值格式看起来相当复杂，所有这些量都只是Marˋcentko Pastur方程的离散化版本。实际上，等式（8.5）等同于等式。

（3.11）对于大N和（8.6）都是方程（3.40）的离散估计量。最后，优化程序读取u=argminu∈RN+PNi=1hγi（u）- λii，s.t.～γi（u）满足等式。（8.6）、（8.7）和（8.8）。（8.9）由此，经验RIE（6.26）的正则化方案读取ξQuESTi=λi | 1- q+qλilimη↓0gNE（λi- iη）|，（8.10）式中▄gNE（z）∈ C+是▄gNE（z）=NNXi=1z的唯一解- ui（1- q+qzgNE（z））。（8.11）我们看到，上述正则化方案允许我们估计——原则上——极限Rie（6.5），因为我们现在可以将η设置为任意小。这意味着，与ExperiicalEstimate（6.26）相反，QuEST程序不应因左边缘的系统性低估而受到影响。这种方法的主要优点是，它还允许我们估计人口特征值，这在某些特定情况下很有用。然而，从数值角度来看，该算法比上述IW正则化（算法（1））要复杂得多。事实上，我们看到优化（8.9）的起点是人口特征值向量，这对于非常“稀释”的频谱来说可能是个问题。此外，该算法可能会在存在非常大且孤立的特征值时避免不稳定性。请注意，[141]中给出了QuEST实现的详细介绍，其中作者建议对清洁特征值[ξQuESTi]i进行排序∈[[1，N]]因为如上所述，我们期望最佳清洁特征值相对于样本特征值是单调的。8.1.4. 实证研究。我们将图8.3中的上述QuEST数值格式与第8.1.2节中的简单IW正则化进行比较。来自QuEST正则化的特征值显示为绿线，我们看到结果非常令人满意。

特别是，它不受左边缘系统偏差的影响，并且似乎能够有效地处理异常值，即使公式（8.5）先验地对大N限内的孤立特征值无效。我们注意到，在幂律示例中，该算法有时会因“聚集”异常值的存在而受到不稳定性的影响（见图8.3d）。另一方面，也许令人惊讶的是，算法1中给出的更简单、有点特别的IW正则化提供了非常相似的结果。然而，QuEST方法需要解决一个非线性和非凸优化问题（见等式（8.9）），这意味着大量的数值计算，甚至可能不会收敛到全局最小值（如果存在）。我们想进一步研究这两种正则化的效率。一个方向是改变变量N的数量，q=0.5固定。这使我们能够评估这两种算法的最终规模性能。第二个方向是fix N=500并改变观测比率q。我们将在以下方面考虑三种不同的正则化：（i）IW正则化（算法1），（ii）IW正则化+排序（以下称为“IWs正则化”）和（iii）QuEST过程。请注意，我们将重点研究图8.3d的幂律示例，因为这个简单的先验知识允许使用可能的“聚集”异常值生成非常复杂的光谱，类似于财务数据。我们再次强调正则化方案（ii）的合理性，因为我们期望估计量保持样本特征值的单调性。为了衡量每个算法的准确性和稳定性，我们描述了给定估计量与Oracle（6.2）之间的偏差。使用均方误差（MSE），我们还可以分析相对性能（RP）与样本协方差的百分比。

这是byRP（Ξ）…=100 ×1 -EkΞ-Ξora。科克-Ξora。k（8.12）其中≡ Ξ（E）是C和Ξora的RIE。是Oracle估计器。我们还报告了每种情况下执行估计所需的平均计算时间。首先，让我们评估清理特征值排序的有用性。我们在表1中报告了我们在100次实现E（这是带有总体协方差矩阵C的aWishart矩阵）的情况下，在N=500和q=0.5的情况下获得的性能。我们从表1得出结论，当使用IW正则化（8.4）时，对特征值进行排序更好，因为差异在统计上是显著的，同时在计算时间方面几乎同样有效。对于大N，QuEST程序产生了最佳的准确度得分，但与IWs特征值的差异在统计学上并不显著，并且QuEST需要比ad hocIWs算法更多的数值运算。请注意，与样本协方差矩阵相比，性能改进非常显著。表1：。我们重新考虑了图8.3d的设置，并检查了100多个样本的一致性。从（6.28）中得出的人口密度ρCis，λ=-0.6，N=500，样本协方差矩阵从Wishart分布中获得。MSE代表与theOracle估计器（6.2）相关的均方误差，stdev代表平方误差的标准偏差和inEq中定义的RP。(8.12). 运行时间显示清理一组尺寸为N的特征值样本所用的平均时间。方法MSE stdev RP运行时间（秒）IW正则化0.64 0.13 99.69 0.02IWs-正则化0.45 0.12 99.78 0.03QuEST 0.44 0.15 99.79 33.5我们现在研究当N随q=0.5固定变化时，这些结论是如何变化的。结果见表2。

首先，我们强调，对于N=100，相对于样本协方差矩阵的RP已经大于98%，这就是为什么我们没有在表中报告这些值。如上所述，对于N>100，对特征值进行排序可以显著改善Oracle估计器的均方误差。我们还强调，对于N=1000，需要0.06秒才能在Python中实现基于IntelR的模拟CoreTMi7-4700HQ和8×2.40GHz处理器的CPU。获取正则化的RIE，而QuEST算法平均需要80秒。我们发现，随着大小N增加到整数，解决非线性和非凸优化（8.9）所需的高度复杂性变得非常有限，而对简单IWsmethod的改进不再显著。表2：。检查关于维数N的三个正则化的一致性。从（6.28）中得出的人口密度ρCis，λ=-0.6，样本协方差矩阵从T=2N的Wishart分布中获得。我们在表中报告了与Oracle估计器（6.2）相关的均方误差和括号中作为N函数的标准偏差。方法N=100 N=200 N=300 N=400 N=500 N=1000IW正则化0.53（0.17）0.56（0.15）0.64（0.16）0.65（0.14）0.64（0.14）0.74（0.14）IWs正则化0.35（0.14）0.39（0.14）0.45（0.14）0.45（0.13）0.46（0.12）0.53（0.12）QuEST 0.26（0.16）0.33（0.15）0.39（0.15）0.4（0.15）0.44（0.15）0.5（0.13）我们现在来看第二个测试，其中N=500是固定的，我们改变q=0.25、0.5、0.75， 0.95.对于每个q，我们执行与表2中相同的程序，结果报告在表3中。很容易看出，第一次一致性检验的结论仍然适用于三个正则化方案，作为q的函数，N=500。

注意，我们这里不考虑情况q>1，因为E一般具有（N- T）零特征值。IWs正则化和QuEST算法这两种正则化方案都无法处理这种情况，weshall将在第9章回到这个问题。表3：。检查关于尺寸比q的三个正则化的一致性。从（6.28）中得出的人口密度ρCis，λ=-0.6和N=500，以及从Wishart分布中获得的样本协方差矩阵，参数T=N/q。我们在表中报告了Oracle估计量（6.2）的均方误差和括号中的标准偏差，作为q的函数。方法q=0.25 q=0.5 q=0.75 q=0.95IW-正则化0.31（0.06）0.65（0.14）1.2（0.18）1.78（0.44）IWs正则化0.28（0.05）0.46（0.12）0.71（0.17）0.94（0.39）QuEST 0.25（0.05）0.45（0.15）0.72（0.17）0.98（0.35）总之，我们使用合成数据观察到，我们能够准确估计小特征值和异常值的极限估计量。发现QuEST程序对任何N和任何q<1的情况都表现得很有效，并且可以高精度估计种群特征值和极限Stieltjes变换。然而，就大样本协方差矩阵的估计而言，通过解决非线性和非凸优化问题（8.9）所获得的改进在增加9个时变得微不足道（见表2和表3）。此外，随着N的增长，QuEST算法的计算时间大大增加。此后，我们将使用IWs RIE作为以下应用程序的C估计量。尽管如此，只要N不是很大，QuEST过程就得到了明确的建议，因为它在可接受的计算时间内产生了显著的改进。8.2. 优化投资组合的最优RIE和样本外风险。

如上所述（见第7.1节），不同资产之间的相关性概念是马科维茨最优投资组合理论的基石，更广泛地说是用于风险管理目的【152】。因此，至关重要的是，使用一个忠实代表未来风险而非过去风险的相关矩阵，否则，对虚假的低风险资产组合的过度配置可能会带来灾难性的后果。在这方面，我们在第7.1.3节中看到，受限于拥有样本特征向量的估计量空间内的最佳估计量正是Oracle估计量（6.2），它是先验不可观测的。然而，如果变量的数量足够大，我们知道，由于上一节的数值研究，仅使用可观测变量就可以非常准确地估计Oracle估计器。本节的主要目的是研究金融股票市场数据的IWsRIE程序。现在让我们解释一下测试的结构。我们考虑一个由N种不同的金融资产（比如股票）组成的宇宙，我们在（比如）每日频率上观察到这些资产，定义了每天t=1，…，的回报向量rt=（r1t，r2t，…，rNt），T众所周知，金融资产的波动率是异方差的[24]，因此我们特别关注相关性而非波动率，以研究系统性风险。为此，我们将这些回报标准化如下：（i）我们去除了每项资产的样本均值；（ii）我们通过估计每日波动率的bσit对每个收益进行标准化：erit=rit/bσit。bσit有许多可能的选择，例如：。

关于历史收益率的加肖-菲加什模型，或期权市场的简单隐含波动率，读者可以选择他/她最喜欢的估值器，该估值器可以很容易地与下面讨论的相关矩阵清理方案相结合。为简单起见，我们在这里选择了横截面每日波动率，即bσit=sXjrjt，（8.13），以消除波动性中的大量非平稳性。最终标准化回报矩阵Y=（Yit）∈ RN×Tis然后由Yit给出..=erit/σi其中σi是ERI的样本估计量，现在，在一级近似下，它是平稳的。我们现在可以计算样本协方差矩阵E，如等式（3.3）所示。我们强调，theMarˋcenko和Pastur结果不需要收益的多元正态性，这可能具有厚尾分布。事实上，通过横截面波动率进行的上述归一化可以被视为协方差矩阵（3.8）的稳健估计的代理，其中U（x）=x-1可以使用第3章和第4章的工具进行研究（关于这一点的讨论，请参见第3.1.3节）。总之，我们可以使用IWs正则化（算法1+排序）或QuEST正则化构造最优RIE，后者允许我们估计总体特征谱。在我们的模拟中，我们考虑了一个包含每日数据的国际股票池：（i）美国：1966年至2012年标准普尔500指数培训期间，500只流动性最强的股票；（ii）日本：1993年至2016年TOPIX全股指数培训期间，流动性最强的500只股票；（iii）欧洲：在1996年至2016年的彭博欧洲500指数培训期间，500只流动性最强的股票。我们选择T=1000（4年）作为培训期，即q=0.5，Tout=60（三个月）作为样本外测试期。让我们首先分析美国股票的最佳RIE。

我们在图8.4中绘制了IWs正则化（蓝线）和Questregulation（红色虚线）的平均非线性收缩曲线，其中我们对两种情况下的特征值进行了排序，并将其与从（8.9）中获得的估计总体特征值进行比较。我们看到IWs正则化和Quest仍然会产生非常相似的结果。此外，我们注意到，正如预期的那样，cleanedeigenvalue的谱比（估计的）总体矩阵的谱窄。0 1 2 3 4 5λi0.00.51.01.52.02.53.03.54.0ξi填充（QuEST）rierie（QuEST）图8.4。使用1970年至2012年的500只美国股票，对IWs正则化（8.4）（蓝色）与QuEST程序（8.10）（红色线）进行比较。这两种规范化之间的一致性非常显著。我们还提供了从（8.9）（绿色虚线虚线）获得的总体特征值的估计。有趣的是，Oracle估计器（6.2）可以进行经验估计，并用于直接测试IWs正则化RIE（8.4）的准确性。诀窍在于指出，Oracle特征值（6.2）可以解释为与投资组合相关的“真实”（样本外）风险，其权重由第i个特征向量给出。因此，假设数据生成过程是平稳的，我们通过与此类特征投资组合相关的已实现风险来估计Oracle估值器【133】。更准确地说，我们将时间序列的总长度拆分为连续的、不重叠的长度Tout样本。“培训”周期的长度为T，因此n由以下公式得出：n..=bTtot公司- T- 1出口。（8.14）然后，Oracle估计器（6.2）计算为：^ξora。我≈nn型-1Xj=0路由（tj，ui）i=1。

，N，（8.15），对于tj=T+j×Tout+1，R（T，w）表示在T时构建的投资组合收益的样本外方差，即sayRout（T，w）=Toutt+ToutXτ=t+1NXi=1wiYiτ！，（8.16）其中，Yiτ表示重新调整比例的已实现回报。同样，由于我们主要感兴趣的是估计相关性，而不是波动性，我们的样本内和样本外回报都是近似平稳和标准化的。这意味着对于任何时间t，pni=1Rout（t，ui）=N。我们使用图8.5中的美国数据绘制了估计的Oracle估计器（8.15）的结果，并将其与IWs正则化RIE进行了比较。我们认为，结果非常显著：RIE公式（8.4）（红色虚线）非常接近平均实现风险（蓝色三角形），尤其是在特征值较多的区域。图8.5。使用1970年至2012年的500只美国股票，对IWs正则化RIE（8.4）与代理（8.15）进行比较。这些点表示（8.15）每个实现的密度图，色码表示数据点的密度。平均IWs正则化RIE用红色虚线绘制，平均实现风险用蓝色绘制。我们还提供了IWs正则化RIE的预测，其有效观测比qe eff略大于q（绿色平原线）。绿线和甲骨文平均估值器（蓝三角）之间的一致性非常显著。我们现在也可以对其他股票池重复分析。我们从图8.6a中绘制总体特征值估计（使用公式（8.9））和正则RIE（使用算法1或公式（8.10））的TOPIx开始。同样，我们从简单的IWSRegulation和QuEST过程中得到的结果几乎无法区分。这是两种算法在有限时间内鲁棒性的另一个表现。

然后，我们在图8.6b中绘制了IWs正则化RIE（红色虚线）和Oracle估计量之间的比较，近似值为（8.15）（绿色三角形）。我们观察到，总体估计不如美国股市（图8.5）令人信服，但如上所述，这种偏差可以通过回归时间序列中存在弱自相关来解释（下文将对此进行详细介绍）。事实上，存在一个有效比率qe eff=1.2q，因此估计值非常好（见图8.6b中的蓝线）。0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0λi0.00.51.01.52.02.53.0ξi种群（QuEST）rie（QuEST）rie（a）种群和最优rie体特征值。0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0λi0.00.51.01.52.02.53.0ξioraclerie（q=0.5）rie（q=0.6）（b）与Oracle估值器（8.15）的比较。图8.6。左图：在1993年至2016年的所有股票TOPIX指数培训期间，使用500只流动性最强的股票分析总体（绿色虚线）和最佳RIE批量特征值（等式（8.10）的红色虚线和IWs正则化的蓝色普通线）。右图：IWs正则化RIE（红色虚线）与Oracle估计器（8.15）（绿色三角形）之间的比较。我们还提供了IWs正则化RIE的图以及有效的观察比率（蓝线）。最后，我们看看欧洲股市，其结论与美国股市相似。特别是，我们在图8.7b中注意到，我们在观察到的q=0.5（红色虚线）的情况下获得的IWs正则化RIE估计值与Oracle估计值（绿色三角形）非常接近。

尽管如此，我们仍可以通过有效比率Qeff=1.1q（蓝平原线）来改进估计。总之，我们看到，简单IWs正则化和QuEST正则化都允许仅使用可观测量精确估计（近似）Oracle估计量。这项研究强调，最优RIE对于数据生成过程是稳健的，因为金融股票市场肯定不是高斯的。横截面波动率估计器（8.13）没有完全消除异方差效应，也没有消除变量的时间依赖性，因为人们似乎可以选择一个IWs正则化和Oracle估计几乎一致的有效观察比率qe eff>q。这种影响可以通过存在0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0λi0.00.51.01.52.02.53.0ξi种群（QuEST）rierie（QuEST）（a）种群和最优RIE体特征值来理解。0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0λi0.00.51.01.52.02.53.0ξioraclerie（q=0.5）rie（q=0.55）（b）与Oracle估值器（8.15）的比较。图8.7：。左图：在1996年至2016年的彭博欧洲500指数培训期间，使用500只流动性最强的股票分析总体（绿色虚线）和最佳RIE大宗特征值（等式（8.10）的红色虚线和IWs正则化的蓝色普通线）。右图：IWs正则化RIE（红色虚线）与Oracle估计器（8.15）（绿色三角形）之间的比较。我们还提供了IWs正则化RIE的曲线图，其中股票收益率的有效观察比率（蓝线）自相关在e。

自相关的存在已被证明拓宽了样本矩阵E的频谱[85]。在第9章中，我们将回到根据经验数据校准Qeff的开放问题。与其他估值器相比，使用Kullback-Leibler距离（如[153100]所示）量化最优RIE所保存的信息将是一件有趣的事情。8.3. 样本外风险最小化。比较将经验特征值λ离子映射到其“干净”对应物^ξi的不同收缩函数很有趣。我们在图8.8中显示了我们保留的三种方案的这些函数，即线性收缩、剪裁和RIE，使用与图8.5中相同的数据集。这张图清楚地揭示了这三种方案之间的差异。对于剪裁（红色虚线），可以很好地估计中间特征值，但无法捕捉到较大λi的最佳收缩函数的凸形状。此外，较大的特征值被系统地高估。对于线性收缩（绿点线），从图8.8可以看出为什么该方法对于任何收缩参数αs都不是最优的∈ [0，1]（用于确定直线的斜率）。现在，我们使用上述三种清理方案来构建最优投资组合，并比较最优马科维茨投资组合的（平均）实现风险，构建为：w=b∑-1克*b∑-1g，（8.17），其中g是预测向量，b∑是清理后的协方差矩阵xb∑ij..=σiσjbΞijfori，j∈ [[1，N]]。再次注意，我们这里考虑的是通过其波动性估计值归一化的回报率：erit=rit/bσit。这意味着我们的测试对样本外期间波动性的总体增加或减少免疫，并且只对相关矩阵本身估计量的质量敏感。图8.8：。

将去偏RIE（8.4）（蓝线）与Marˇcentkopastur边缘的剪切（红色虚线）和线性收缩（α=0.5）（绿色虚线）进行比较。这里我们使用samedata集，如图8.5所示。为了确定我们的结果在不同市场情况下的稳健性，我们考虑了以下四类预测因子g：（i）最小方差投资组合，对应于gi=1，我∈ [[1，N]]（ii）全知情况，即我们确切知道每只股票在下一个抽样期外的实现回报。这由gi=Nri，t（Tout）给出，其中ri，t（τ）=（Pi，t+τ- Pi，t）/Pi，twith Pi，t第i项资产在t时的价格，erit=rit/bσit。（iii）最后一天返回时的平均回复：gi=-N厄立特里亚我∈ [[1，N]]。（iv）随机长短预测器，其中g=N v，其中v是均匀分布在单位球体上的随机向量。归一化因子N：=√选择N以确保wi~ O（N-1） 对于所有i.通过将矩阵X替换为由er定义的归一化返回矩阵，从等式（8.16）中获得的出采样器风险Ris..=（erit）∈ RN×T。我们报告了上述三种清洁方案和三个地理区域的这些不同portfoliosin的平均样本外风险，保持上述T（学习期）和Tout（样本外期）的相同值。线性收缩估计器使用根据以下数据估计的收缩强度α【154】（LW）。特征值剪裁程序使用Marˇcenko Pastur边的位置，（1+√q） ，以区分有意义和有噪声的特征值。从第二行到最后一行给出了通过采用一致性矩阵（总收缩率，αs=0）获得的结果，最后一行通过采用未清理的样本内相关矩阵（αs=1）获得。表4：。不同策略的年化平均波动率（单位%）。

标准偏差在表格中给出。最小方差portfoliohRieUS Japan EuropeRIE（IWs）10.4（0.12）30.0（2.9）13.2（0.12）裁剪MP 10.6（0.12）30.4（2.9）13.6（0.12）线性LW 10.5（0.12）29.5（2.9）13.2（0.13）恒等式αs=0 15.0（0.25）31.6（2.92）20.1（0.25）样本αs=1 11.6（0.13）32.3（2.95）14.6（0.6 2）全知预测器日本欧洲（IWs）10.9（0.15）12.1（0.18）9.38（0.18）剪辑MP 11.1（0.15）12.5（0.2）11.1（0.21）线性LW 11.1（0.16）12.2（0.18）11.1（0.22）恒等式αs=0 17.3（0.24）19.4（0.31）17.7（0.34）样本αs=1 13.4（0.25）14.9（0.28）12.1（0.28）均值回归预测因子日本-欧洲（IWs）7.97（0.14）11.2（0.20）7.85（0.06）裁剪MP 8.11（0.14）11.3（0.21 9.35（0.09）线性LW 8.13（0.14）11.3（0.20）9.26（0.09）恒等式αs=0 17.7（0.23）24.0（0.4）23.5（0.2）αs=1 9.75（0.28）15.4（0.3）9.65（0.11）均匀预测因子hrieus Japan EuropeRIE 1.30（8e-4）1.50（1e-3）1.23（1e-3）裁剪MP 1.31（8e-4）1.55（1e-3）1.32（1e-3）线性LW 1.32（8e-4）1.61（1e-3）1.27（1e-3）恒等式αs=0 1.56（2e-3）1.86（2e-3）1.69（2e-3）2e-3）在样本αs=1 1.69（1e-3）2.00（2e-3）2.7（0.01）中，这些表格表明：（i）最好使用干净的相关矩阵：正如预期的那样，没有清理的样本外风险总是高于任何清理方案，即使有四年的数据。这与Pantaleo等人之前的工作一致【155】；（ii）在除一种情况外的所有情况下（日本的最小风险投资组合，其中LW线性收缩表现优异），正则化RIE提供最低的样本外风险，与使用的预测类型无关。请注意，这些结果在统计上到处都是显著的，但日本股票的最小方差策略除外：请参见表4中各参数之间的标准误差。

最后，我们通过对N={100200300}重复相同的测试来测试N维的稳健性。我们关注相对较小的N值，因为只要N>300，所有情况下的结论都是有效的。我们发现，除了N=100的一些函数外，RIE的样本外测试结果对尺寸N具有稳健性，如表5所示。表5：。不同策略的年化平均波动率（单位%）作为N的函数，q=0.5。我们在括号中报告标准偏差。