关于相关随机矩阵特征向量之间的重叠

2022-5-11 13:46:01

关于相关随机矩阵的特征向量之间的重叠Jo¨el Bun，Jean-Philippe Bouchaud，Marc PottersLPTMS，CNRS，巴黎南大学，巴黎萨克莱大学，法国奥赛91405，巴黎大学路23-25号，75 007巴黎我们获得了大型相关随机矩阵特征向量之间重叠的一般精确公式，加性或乘性噪声。这些结果在从量子热化到高维统计的许多不同环境中都有潜在的应用。我们发现，重叠仅取决于可测量的量，不需要了解潜在的“真实”（无噪声）矩阵。我们将我们的结果应用于经验相关矩阵的情况，这使我们能够可靠地估计真实相关矩阵的谱宽，即使后者非常接近恒等式。我们以股票收益率相关性为例说明了我们的结果，这清楚地揭示了大量特征值的非平凡结构。我们还将我们的结果应用于高维矩阵去噪问题。1.引言从量子力学到高维数据分析，大型随机矩阵的特征值和特征向量的结构在许多不同的环境中都是最重要的。相应地，随机矩阵理论（RMT）已经成为一门主要学科，处于理论物理、数学、概率论和应用统计学之间的前沿，拥有一些令人生畏的知识库[1]。RMT最引人注目的应用之一涉及量子混沌和量子输运[2]，人们对量子遍历性（“本征态热化”）[3,4]、纠缠和耗散（最近的综述见[5,6]）等问题重新产生了兴趣。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-5-11 13:46:05

在信号处理方面，RMT在分析高维统计[7–9]、无线通信信道[10,11]等方面至关重要。其他例子包括复杂系统的动力学——从随机生态[12]到眼镜和自旋眼镜[13]。虽然已经对随机矩阵的光谱特性进行了详细的研究，但人们的兴趣最近转移到了其特征向量的统计特性上——最近的论文参见[3,14]和[15–21]。特别是，人们可以问样本矩阵S的特征向量与总体（或纯）矩阵C本身的特征向量如何相似。我们最近在[22]中获得了一系列随机矩阵的纯和无噪声I型变换器之间重叠的明确公式，推广了[15]的样本协方差/相关矩阵的结果，得到的结果为S=√CW√其中W是Wishart矩阵——对于形式为=C+W的矩阵，其中W是对称高斯随机矩阵[18,23,24]。在本论文中，我们想将这些结果推广到这类随机矩阵的两个不同实现的IGenvector之间的重叠，它们通过公共部分C保持相关。例如，假设一个测量同一过程的样本相关矩阵，但在两个不重叠的时间间隔上，以Wishart噪声W和W的两个独立实现为特征。相应的特征向量预计有多接近？我们为高维区域中的这些重叠提供了精确、明确的公式。准确地说，我们对我们的公式给出了透明的解释，并将它们推广到各种情况，尤其是当噪声相关时。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:09

也许令人惊讶的是，这些重叠只能从S的经验谱来评估，也就是说，没有关于纯矩阵C本身的任何先验知识。这导致我们提出了一种基于这些重叠的统计测试，它允许我们确定在上述多重和加法情况下，随机矩阵S和▄S的两种实现是否确实对应于非常相同的基本“真实”矩阵C。我们还将回顾旋转不变估计（RIE）[25]的理论，该理论最近受到了很多关注（请参见[15，26-28]）。一、理论结果a。反转公式。在下文中，我们考虑N×N对称随机矩阵，并用λ>λ>表示λn和的特征值由u，u，解开对应的特征向量。类似地，我们用∧>λ>表示λλn特征值S和，解开相关特征向量。请注意，为了方便起见，我们有时会用相应的特征值对特征向量进行索引。我们强调，我们允许描述S和S随机性的参数不同。我们在这项研究中关注的中心对象是渐近（N→ ∞) 按比例，均方重叠Φ（λ，λ）…=氖huλ，~uλi, （1）在极限N内保持O（1）→ ∞. 在上述等式中，期望E可以解释为随机性的不同实现上的平均值，或者，对于固定随机性，可以解释为宽度η=dλ的特征值的小“切片”上的平均值 N-1，使得结果在大N极限下成为自平均。我们将用复函数ψN（z，~z）…=E“NTrh（z- （S）-1（~z-~S）-1 i#，（2）其中z，~z∈ C.对于大型随机矩阵，我们期望特征值[λi]i∈[[1，N]]和[~λi]i∈[[1，N]]坚持他们的分类位置，即根据光谱密度的分位数平滑分配。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:14

不同的是，样本特征值在大极限下变得具有确定性。因此，在取连续极限后，我们得到ψN（z，~z）~ ψ（z，~z），其中极限值由ψ（z，~z）给出=ZZ%（λ）z- λ∧%（∧λ）~z-λΦ（λ，~λλ）dλdλ，（3）用S和S的谱密度的%和%计算ψ（x）- iη，y±iη）=ZZ（x- λ+iη）（x- λ） +η（y）-~λ iη）（y）-§λ）+η%（λ）§%（§λ）Φ（λ，§λ）dλdλψ（x）- iη，y+iη）- ψ（x）- iη，y- iη）=ZZη%（λ）（x）- λ） +ηη∧%（∧λ）（y）-∧λ）+ηΦ（λ，∧λ）dλd∧。（4）我们现在可以调用Sokhotski-Plemelj恒等式来获得反演公式Φ（λ，~λ）=Re[ψ（z，~z）- ψ（z，~z）]2π%（λ）~%（~λ），（5）z=λ- iη，z及其复共轭和ψ≡limη↓0+ψ. 最后一个公式告诉我们，在高维区域，我们可以通过双变量函数ψ（z，~z）来研究均方重叠（1），这更容易使用RMT的工具来处理（见下文）。B.乘性噪声。研究函数ψ的渐近行为需要控制S和＠S的预解项。最近的研究表明，人们可以通过确定性等价量来近似这些（随机）预解式[22,29,30]。我们首先从介绍中介绍的Wishart乘性噪声开始。更准确地说，让我们：=√CW√C和S：=√C~W√C其中，W和Ware是两个独立的Wishart矩阵，可能有两个不同的观测比qN/T和<<q=N/<<T。通过独立性，我们得到ψN（z，~z）=NNXk，lEP（z）- （S）-1公斤EP（~z）-~S）-1公斤, （6）式中，EP[·]（resp.EP[·]）表示与toS（resp.~S）相关的概率测度P（resp.~P）上的期望值。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:17

然后，我们使用S的预解式的确定性估计，它产生N→ ∞ [22,29,30]：EP（z）- （S）-1公斤~ ζ（z）zζ（z）- C-1kg+O（N）-1/2），（7）其中我们定义了ζ（z）=1.- q+qzg（z），（8）和g（z）是S的斯蒂尔杰斯变换，定义为N的极限值-1Tr[（z）- （S）-1]. 通过将ζ、q和g替换为ζ、q和g，估计值（7）也适用于S。注意，我们可以通过取（7）中的标准化轨迹来推导与g（z）相关的固定点方程，从而得出N→ ∞g（z）~ ζ（z）gC（zζ（z）），（9），其中gC是与纯矩阵C相关联的斯蒂尔杰斯变换。同样地，通过将ζ与∧ζ相加，从（9）中获得＠g的值。通过将等式（8）插入等式（6），我们得到ψN（z，~z）~NTr[ζ（z）（zζ（z）- C）-1~ζ（~z）（~z~ζ（~z）- C）-1] ，然后，使用恒等式（zζ（z）- C）-1（~z~ζ（~z）- C）-1=~z~ζ（~z）- zζ（z）[（zζ（z）- C）-1.- （~z~ζ（~z）- C）-1] ，（10）我们得到ψN（z，~z）~ζ（z）~ζ（~z）~z ~ζ（~z）- zζ（z）NTr[（zζ（z）-C）-1.-（~z~ζ（~z）-C）-1].从最后一个方程，我们推导出ψN（z，~z）~~z~ζ（~z）- zζ（z）×ζ（~z）NTrhζ（z）（zζ（z）- C）-1i-ζ（z）NTrhζ（~z）（~ζ（~z）- C）-1i！。从（9）中可以注意到，后一个方程中的两个规范化跟踪项在大N极限中由g（z）和＠g（＠z）精确给出。因此，我们得出结论，在乘法Wishart摄动的情况下，（2）的渐近值读取ψ（z，~z）~ζ（~z）g（z）- ζ（z）~g（~z）~zζ（~z）- zζ（z），（11），适用于任何q=O（1）和q=O（1）。等式（11）中引人注目的观察是，结果并不明确地依赖于我们希望估计的总体矩阵C。这一特征非常重要，因为它表明我们只能根据可观测变量来描述均方重叠（1）。现在我们已经确定了渐近值ψ（z，~z），现在让我们计算主要的感兴趣量，即等式（1）。为此，可以方便地使用复函数m（z）：=1/（zζ（z））。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2022-5-11 13:46:20

实际上，通过用函数m表示（11），我们以ψ（z，~z）=qqzz结束（~qz）- q~z）~mm- ~m+（q- ~q）~mm- ~m+m+~mq~z-1.- qqzz.定义m（λ）=limη↓0m（λ）- iη）≡ mR（λ）+imI（λ），经过一些基本计算（详见附录A）得到以下一般结果：Φq，~q（λ，~λ）=2（~qλ）- q)λ）α（λ，)λ）+（q）- q） β（λ，~λ）λλγ（λ，~λ），（12）其中我们定义了α（λ，~λ）=mR（λ）|m（|λ）|- ~mR（~λ）|m（λ）|（13）β（λ，~λ）…=|~m（~λ）|- |m（λ）|γ（λ，|λ）=（mR（λ）- mR（λ））+（mI（λ）+mI（λ））×（mR（λ）- ~mR（~λ））+（mI（λ）- ~mI（~λ））.最终结果（12）在（q，λ）与（~q，~λ）的交换下是不变的，并且不明确地依赖于C，这是预期的。我们将在下一节中看到，这是建立可观察稳定性测试的一个关键特性。很容易证明，这个公式再现了给定样本特征向量与其在极限q中的真值之间的均方重叠→ 0（参见[15,22]）。为了证实我们的说法，让我们考虑一下q→ 0，其中∧→ u其中u表示相应的总体特征值[31]。在这个特定的框架中，我们有mR=1/u和mI=0。因此，我们从（12）中推断Φq，~q→0（λ，u）=q|λ| 1- um（λ）|，（14），这正是[15]的结果。接下来，我们来看一个例子，我们将数据集分成两个大小相同的窗口（q=~q），当人们希望测量与相同特征值相关的特征向量的稳定性时，这是相关的。对于q=~q，IGENVALUESλ和▄λ现在根据相同的密度函数分布，因此▄m（▄λ）=m（▄λ）。此外，我们从（13）中推断出（12）中β（λ，～λ）的贡献消失。自重叠极限∧→ λ需要小心处理，因为公式（12）在nq=~q时似乎不明确。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:24

然而，如果我们写ε>0的∧λ=λ+ε，那么就有α（λ，λ+ε）=ε|m|λmR- 先生λ| m|+ O（ε），γ（λ，λ+ε）=4εmI（λ）|λm（λ）|+O（ε）。因此，我们将这两个表达式插入到（12）中，然后设置ε=0，从而得出结论：自重叠由Φ（λ，λ）=q2λ| m（λ）给出|λmR（λ）/|m（λ）|mI（λ）|λm（λ）|。（15）我们现在解释如何将这些结果推广到更一般的乘性噪声。更具体地说，让我们考虑S形式的矩阵=√科博*√C、其中O是根据Haar测度在正交群O（N）中选择的随机矩阵，B是独立于C和O的agiven随机矩阵（类似模型见E.g.[20,22,32]）。上述调查的框架与海外建筑运营管理局*是Wishart矩阵。利用[22]的结果，我们发现对于这个一般模型，（11）仍然成立，ζ（z）=SB（zg（z）- 1）其中SBI是B矩阵的所谓Voiculescu’sS变换[33]。如果B=W，那么sb（ω）=1/（1+qω）。然而，由于S变换的分析结构取决于B.C.加性噪声的选择，因此在这个阶段，在这种一般情况下，似乎很难获得均方波RLAP（1）的显式公式。对于加性噪声，我们用于多重复制噪声模型的所有参数几乎可以一字不差地重复。在加性实对称高斯噪声的情况下，在文献中称为高斯北正交系综（GOE），我们有两个独立的GOE矩阵，分别是方差σ和σ。预解式（z）的每一次尝试-（S）-1在高维区域[18,22,30]：EP中，也可以用确定性值来近似（z）- （S）-1公斤~ζa（z）- C-1kg，（16）其中我们定义了[42]ζa（z）…=Z- σg（z）。（17）同样，通过将ζa、g和σ替换为ζa、g和σ，渐近极限（16）适用于/S。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:28

通过进行与上述相同的计算，我们得到了ψN的极限值：ψa（z，~z）=g（z）-~g（~z）~ζa（~z）-ζa（z）。（18）至于公式（11），公式（18）仅依赖于先验可观测量，因为它不明确涉及未知总体矩阵C。因此，我们将使用反演公式（5）获得（1）的可观测表达式。现在我们可以开始计算加性高斯模型中的均方重叠（1）。从（18）中，我们发现limη→0ψa（λ）- iη，~λ+iη）- ψa（λ）- iη，λ- iη）=Gζa-ζa+ ζa~g-~g+ g|ζa-~g~ζaζa- ζaζa- ζa在这里我们使用了符号g≡ limη↓0+g.定义ζa=limη↓0+ζa（λ-iη）≡ ζaR+iζa并执行与上述类似的代数运算（详情见附录B），我们最终得到Φaσ，＠σ（λ，＠λ）=2（＠σλ）- σλ（ζaR）-ζaR）+（σ- λσ）βa（λ，～λ）γa（λ，～λ）（19），其中γa（λ，～λ）由与γ（λ，～λ）inEq相同的表达式给出。（13）随着替换的发生→ ζaRand mI→ ζa和βa（λ，～λ）=ζaR（λ）- ζaI（λ）ζaR（λ）+ζaI（λ）-ζaR（λ）-ξζaI（λ）ζaR（λ）-ξζaI（λ）. （20）我们注意到，当我们假设两个高斯噪声具有相同的方差时，β-aagainvarianies项的贡献。与乘法情况一样，自重叠Φa（λ，λ）是通过将（19）以ε的幂展开，得到的。通过取ε=0：Φa（λ，λ）=σ，最终得出λζaR（λ）（ζaI（λ））λζa（λ）. （21）与乘法情况类似，加法模型可以推广到S=C+OBO*B和O的定义相同。在这种情况下，上述结果（18）成立，但现在ξ（z）=z- RB（g（z）），其中RB（z）是B矩阵[33]的R变换，当B=W是高斯随机矩阵时，它仅等于RB（z）=σz，如上所述。结果（19）的另一个有趣且重要的扩展是当噪声W，~W相关时——而上述计算指的是独立的噪声。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:31

在加法的情况下，诀窍是认识到一个人（在法律上）写W=√ρW+√1.- ρWand~W=√ρW+√1.- ρW，其中W现在是独立的，如上所述。由于我们的公式不依赖于公共矩阵C，因此可以用C代替+√ρW.那么，等式（21）基本成立，σ替换为σ- σσρ与σ和σ——噪声矩阵的宽度和W（详见附录C）。同样地，用σ代替∑- σσρ. 注意，在噪声参数相同的情况下，σ仅乘以1-ρ. 图1显示了ρ和σ=＠σ不同值的Φa（λ，λ）的相应形状。我们还在插图中提供了固定ρ=0.54，σ=1的合成数据的比较。实验过程中，噪声和增益的实现超过了200次，协议非常好。在乘法模型中考虑相关噪声至关重要，因为它描述了在重叠周期上测量的相关矩阵的情况，例如=√C[W+W]√C和S=√ChW+~Wi√C（见下文第三节B）。事实证明，这起案件更为微妙，是不断调查的主题。图1：主图：固定λ的自重叠Φa（λ，λλ）的评估≈ 对于N=500、σ=1和不同的ρ值，0.95是λ的函数。总体矩阵C由参数T=2N的（白色）Wishart矩阵给出。插图：我们比较了理论预测Φa（λ，λ）≈ 0.95），对于固定ρ=0.54的合成数据。经验平均值（蓝点）来自100个独立的S.D.卷积公式实现。在研究这些公式的一些具体应用之前，让我们以对上述形式主义的有趣解释来结束这一理论部分。我们首先介绍纯矩阵C的特征向量集vu，用特征值u标记。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:34

我们定义了u和v的aspΦ（u，λ）/N×ε（u，λ）之间的重叠，其中Φ（u，λ）在[22]中针对广泛的问题明确计算，ε（u，λ）是单位方差的随机变量。现在，人们总是可以把u写成：uλ=√NZdu%C（u）pΦ（u，λ）ε（u，λ）vu，（22）式中，%表示C的光谱密度。利用v的正交性，我们可以得出：huλ，uλi=NZdu%C（u）pΦ（u，λ）Φ（u，λ）ε（u，λ）ε（u，λ）ε（u，λ）。如果我们将最后一个表达式平方，然后在噪声上求平均值，并根据所有符号ε（u，λ）实际上相互独立的情况，做出一个“遍历假设”[3]，我们会发现以下对于平方重叠的非常直观的卷积结果：Φ（λ，λ）=Zdu%C（u）Φ（u，λ）Φ（u，λ）Φ（u，λ）。（23）事实证明，这个表达式是完全通用的，完全等价于等式。（12）（19）在相应的情况下。然而，尽管这个表达式仍然对纯矩阵C的结构有一些明确的依赖性，但它已经在等式中消失了。（12）和（19）。然而，第二种解释将有助于获得一种从Largenioy矩阵估计C的有效方法。I II。应用程序。（12）和（19）在高维极限（HDL）中是精确的，并且是这项工作的主要新结果。请注意，从参考文献[30]中，我们希望这些结果与N阶的函数保持一致-1/2但对转租条款进行更严格的分析对于实际目的可能有用。我们将这个问题留给未来的工作。在本节中，我们将重点讨论样本协方差/相关矩阵的情况，但随后的大多数结果可以很容易地转置为附加噪声。我们强调，在样本相关矩阵的特殊情况下，HDL定义为n，T，~T→ ∞ q=O（1），~q=O（1），（24），其中T是样本量。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-5-11 13:46:37

在本节中，我们将假设每个变量的方差可以在HDLso中以极高的精度独立估计，因此我们将不再区分进一步的协方差和相关性。第一个应用涉及对大型相关矩阵的特征向量进行稳定性测试。更准确地说，我们研究了两个相关矩阵的特征向量之间的均方重叠是否完全由测量噪声解释。不同的是，我们检验了样本相关矩阵模型能够适应特征向量动力学的假设。第二个应用涉及卷积公式。特别是，我们将我们的结果与RIEST理论联系在一起，后者在HDL中提供了比经典样本估计值显著改善的结果（最近的综述见[26]）。A.特征向量稳定性。第一个应用程序处理两个不重叠的相邻样本情况下特征向量的稳定性。为了给出更多的见解，我们从一个理论例子开始，其中真相关矩阵C是参数κ的逆Wishart矩阵∈ (0, ∞), 对应于1/q forWishart矩阵（详见[22]）。在这种情况下，可以显式地计算函数m（z）。这最终归结为：Φ（λ，λ）=Γ（λ+2qκ）2qκ2λ(υ + κ) - λκ+κ（2qγ）- 1)（25）其中Γ：=1+qκ和λ在区间[λ]内-, λ+]，其中边由λ±=κ给出-1hγ+κ±p（2κ+1）（2qκ+1）i.一个有趣的限制对应于κ→ ∞, 式中，C趋向于同一矩阵，重叠预计将全部等于1/N。实际上，对于固定的q:Φ（λ，λ）~κ→∞\"1 +(λ - 1)(λ- 1） 2qκ+Oκ#, （26）如果C的本征值谱具有（2κ）给出的方差，则在这个极限下是普遍的-1.→ 0[43].

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:41

这个公式很有趣，因为它允许我们估计C的特征值分布的宽度，即使它接近单位矩阵，即κ 1.可以考虑直接使用经验光谱上的信息，例如theMarˇcenko Pastur预测Tr C-1= (1-q） Tr S-1，原则上允许通过h1+（2κ）提取参数κ-1= (1 - q） Tr S-1/N。然而，当κ 1和N（首先，RHS可能为负值，这将导致负方差）。我们基于重叠的公式避免了这些困难。作为说明，我们用κ=10、N=500和q=0.5检查图2中等式（25）的有效性。更准确地说，我们确定经验平均重叠如下：我们考虑Wishart noiseW的50个独立实现。对于每对样本，我们计算一个平滑的DoverLap，如下所示：慧uii=ZiNXj=1hui，~uji（λi）- λj）+η（27），其中Zi=PNk=1（（λi）- λk）+η）-1归一化常数和η——柯西核的宽度，我们选择N-1/2以这样的方式-1. η 1.然后，我们对给定值i的所有对进行平均，以获得[hui，~uii]e，并将结果量绘制为平均特征值位置[λi]e的函数。我们观察到，即使真实的基础矩阵C接近单位矩阵，与等式（25）的一致性也非常好。请注意，经验估算公式。（27）是通用的，即独立于C的底层结构。对于一般和任意的总体矩阵C，计算公式（12）或公式（19）相当困难，因为有限的尺寸效应，尤其是对于乘法情况。事实上，当我们考虑乘性噪声时，S的特征值被定义为保持正，这意味着原点处存在硬墙[44]。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:44

因此，使用局部定律来估计斯蒂尔杰斯变换g（z），0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5λ1.01.21.41.61.82.0Φ（λ，λ）是一个真实的问题。2：使用公式（26）评估N=500且κ=10的逆Wishart总体矩阵的自重叠。红色的平面线对应于这样一种情况，即我们确切地知道真实的特征值，而蓝色的点是使用Quest算法从估计的总体特征值中获得的（参见[34]）。经验平均值由绿色菱形线绘制，并从（27）个超过50个W的实现中获得。如[30]中所述，对于非常小的特征值，通常会导致噪声结果。因此，从真实数据中确定公式（12）相当困难，必须借助数字正则化方案才能做到这一点。在样本相关矩阵的特定情况下，一种可能的解决方案是将著名的Marˇcenko Pastur方程[28,34]倒置，以输入总体矩阵c的特征值。一旦完成，即使在原点附近，也可以高精度地评估Stieltjes变换g（z）。在下文中，我们将使用[34]中所谓的QuEST数值模式来获得这些纯本征值。我们在图2中绘制了使用QuEST算法（蓝点）估计的总体特征值时获得的结果，并注意到一致性非常显著。既然我们有了总体特征值的估计，我们就可以研究实际数据的应用了。在这里，我们研究了美国股市的情况，但下面的结果可以推广到其他地区[26]。在处理真实数据时，困难在于测量公式（27）中两个不重叠的相关矩阵S和S之间的经验均方重叠（27），因为我们可能没有足够的数据点来评估公式（1）中要求的噪声平均值。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:47

为了避免这个问题，我们使用了一个引导过程来增加数据的大小[45]：我们从2004年到2013年总共花费2400个工作日来计算标准普尔500指数中300个最具流动性的资产，我们将这些资产分成两个大小相同的不重叠子集1200天，分别对应于2004年到2008年和2008年到2013年。我们将N=300只股票限制在2004年至2013年的整个时期内，所有这些股票都存在。然后，对于每个子集和每个引导样本b∈ {1，…，B}，我们随机选择T=600 distinctday来构造两个“独立”样本相关矩阵Sb和+Sb，其中q=~q=N/T=0.5。然后，我们使用QuEST算法从这些B引导数据集计算经验均方重叠（1）和理论极限（12）。在我们的模拟中，我们设置B=100，并在图3中绘制了从Quest算法（蓝色虚线）和使用美国股票的经验图书陷阱估计（27）（绿点）得到的公式（1）的结果估计。我们还按照[35]中对标准普尔500指数提出的有效观察率qe eff=0.55（红色平原线）进行了估算，以解释相关性或重尾效应。0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0λ020406080Φ（λ，λ）经验图像估计（q=0.55）0.0 0.5 1.0 1.5 2.01.52.02.53.0图。3：评估自重叠Φ（λ，λ）作为样本特征值λ的函数，使用2004年至2013年的N=300个最具流动性的股票。我们将数据分成两个不重叠的时段，样本量相同，为1200个工作日。对于每个周期，我们随机选择T=600天，然后重复原始数据的B=100引导。在这100个引导（绿点）上使用公式（27）计算经验自重叠，并使用q=0.5（蓝色虚线）的QuEST算法估计极限公式（15）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:46:51

我们还提供了使用相同的有效观察比率qe eff=0.55得出的估计值，该比率解释了相关性/重尾效应[26]。插图：关注大部分的价值观。从图3可以清楚地看出，与大特征值相关的特征向量并没有被理论很好地描述：我们注意到（估计的）理论曲线和经验曲线之间存在差异，即使在考虑了有效比率qe eff之后。市场模式（未显示）的差异更大。这可能与这样一个事实有关，即最大的特征向量预计会随着时间的推移而真正演化，正如上文所述[16]。还请注意图3插图中理论预测和经验预测之间的左边缘间隙，该间隙已通过qe fff部分修正。这表明，仍然可以通过添加自相关或重尾条目来改进Marˇcenko Pastur框架，同时扩大S的LSD（参见[32,36]中的自相关和[37–40]中的重尾条目）。最后，所有这些言论也适用于其他市场[26]。B.旋转不变估计。除了特征向量的统计特性外，本文提出的理论框架对于从旋转不变估计器的特定类别中的大噪声矩阵估计C实际上非常有用（参见[26]和其中的参考文献，以获取关于该主题的最新评论）。对于这类估计器，关键是找到一种可观察的方法来估计理论特征值ξi≡ ξi（q）…=hui，Cuii，（28），其中Ui是S的特征向量：=√CW√C、在最后一个方程的RHS中，我们省略了它们对q的依赖。在HDL中，有几种方法可以近似该估计器：使用各向异性局部定律[26]、Marˇcenko Pastur方程的数值反演[34]和所谓的交叉验证（CV）估计器[27]。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-5-11 13:46:54

所有这些方法的显著特点是，得到的估计量只取决于可观测量，而（28）的情况显然不是这样。即使前两种技术本身很有趣，我们也会关注最后一种，因为它与第II D节中推导的卷积公式有关。从现在开始，我们考虑乘法，但下面的参数可以很容易地推广到加法情况。让我们考虑一下量νi≡ νi（q）…=hui，~Suii，（29）我们记得UIS独立于~S：=√C~W√C.我们再次假设我们处于制度（24）中，因此我们从（23）中推断出~Z%（)λ）Φ（λ，)λ）)λd)λ=Z%（)λ）“Z%C（u）Φ（λ，u）Φ（λ，u）Φ（λ，u）du#λd)λ=Z%C（u）Φ（λ，u）“Z%（)λ）Φ（λ，u）#）d#。（30）括号中的术语可以通过使用S:Z%（)λ）Φ（)λ，uj）)λd)的定义来简化≈ hvj，~Svji=hC1/2vj，~WC1/2vji，我们重写了最后一行，这要归功于本征方程asZ%（~λ）Φ（~λ，uj）~λdλ≈ ujhvj，~Wvji=ujNXk=1ωkEhwk，vji,用ωk表示white-Wishart矩阵的第k个特征值，W和wk表示相应的特征向量。最后，weinvoke认为E[hwk，vji]=N-1对于所有j∈ [[1，N]]在HDL中，NXk=1ωkhwk，vji=1（31），因此我们有z∧%（∧λ）Φ（∧λ，uj）~λd∧≈ uj。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-5-11 13:46:57

（32）将最后一个方程代入（30）中，我们得到了任意∧q=O（1）的以下结果：νi（q）~Z%C（u）Φ（λ，u）udu≡ ξi（q），（33），其中最后一个等价性来自连续极限中oracle估计量的定义（28）。这一结果非常有趣，并表明可以通过考虑给定的C–例如S–的特征向量与另一个C–例如S–的特征向量之间的二次型来近似oracle估计器（28），即使后者的特征是质量比q 6=q的不同值。为了说明最后一点，让我们考虑一个参数为κ=0.5的逆Shart矩阵作为大小为N=500的总体相关矩阵。这两个噪声矩阵均来自多元高斯分布，但参数不同：第一个噪声矩阵S使用T=1000计算，而第二个噪声矩阵S对应于T=100。有了这个先验知识，通过强度α=1/（1+2qκ）和q=N/T的线性收缩在HDL中给出了oracle估计值。在图4中，我们绘制了从（33）中获得的预测，其中有固定的和单个实现的S（星点线），我们看到，虽然有噪声，但预测已经相当准确。我们还在同一个图中绘制了（33）超过20个独立实现的S（纯红线）的平均值，我们观察到与极限值（图4中的线y=x）的一致性非常好，只有非常小的波动（见蓝色阴影区域给出的置信区间）。非常令人惊讶的是，我们可以通过应用一种特殊的正则化来显著提高估计的准确性，即使是对于单个实现的S。更具体地说，我们从图4中看到，由于样本的有限大小，预测（33）不一定保持特征值的顺序。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:47:00

然而，在旋转不变假设下，观察非单调清洁方案可能是一个不需要的特性。事实上，没有理由先验地认为修改特征值的顺序是最佳的，也就是说，与主成分相关的方差。有几种方法可以正则化从（4）中得到的估计。我们可以对清理后的特征值进行排序[26]，也可以进行等渗回归[27]。我们在图4的Inset中提供了一个关于单个实现的S（紫色平面线）的排序正则化的说明。与（33）（黄色交叉线）相比，平方误差的改善是显著的。此外，即使对于较大的q值，估计变得非常嘈杂，我们注意到估计的质量仍然与S（黑色虚线）的20次实现的平均值相当，这是非常显著的。我们还想强调，在所有情况下，我们得到的误差总是小于9，这是我们在保持S的样本特征值时得到的误差（参见图4的插图）。0 1 2 3 4 51+α（λi- 1） 0123456νi1实现平均置信区间0 2 4 6 8 10)Q01234567错误图。4：主要图表：当C是参数κ=0.5的500×500逆Wishart矩阵时，公式（33）的评估。我们希望去噪的第一个噪声矩阵S来自参数q=0.5的Wishart分布。第二个带噪矩阵也是一个Wishart矩阵，但参数q=5。x轴由真渐近值给出，即强度α=1/（1+2qκ）的线性收缩估计量。y轴是从（33）中获得的特征值。星号虚线是从一个样本中获得的结果，红色虚线是20个独立实现的S的平均结果，蓝色阴影给出了置信区间。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:47:04

插图：平方误差作为q的函数，其中我们用相同的N和T固定。黄色交叉线对应于等式（33）中单个实现的误差，紫色普通线对应于其排序版本。黑色虚线对应于等式（33）的平均值，超过20次实现的S。红色点给出了q=5的误差，即主图中所示的样本。从图4中可以看出，我们确实可以使用结果（33），即使在 q、因此，这提供了一种通过比较样本内结果（即我们使用S的信息获得的估计量）和样本外结果（使用S的信息获得）来检查估计质量的简单方法。因此，它证明了[26]的样本外测试在使用财务数据评估经验最优RIE质量方面的有效性。第二个发现是，通过使用来自单个实现的相对较少的独立数据，可以相当准确地估计q固定值的最佳oracle。C.交叉验证估计器。另一个有趣的讨论是将上述结果与[27]中提出的交叉验证（CV）估计值进行比较。假设我们想要从T个独立样本中估计出（28个），我们将这些样本分成K个非重叠集合，这些集合的条件由{I}K=1表示。然后，CV估计器读取νcvi（q）=KKX=1Xt∈IDu（）I，xtx*T我u（）即，（34），其中每个集合I具有相同的大小，使得K |I|=T，u（）是与从样本相关矩阵中获得的第I个特征值相关联的特征向量，在该矩阵中，我们移除了属于集合I的所有观测值∈ [1，K]]和q..=N/（T）- |I|）是相应的观察比率。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:47:08

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:47:11

在这种情况下，我们从（34）得到的结果与强度为α=1/（1+2qκ）的线性收缩相当吻合。这表明在（34）中选择K是至关重要的，以便获得（28）的一致估计（参见图5的插图）。0 1 2 3 4 51+α（λi- 1） 0123456νiLimiting（错误强度）2倍CV估计器10倍CV估计器100101102103K0。51.01.52.02.53.0平方误差图。5：主要图表：使用与图4相同的经验对等式（34）进行评估。x轴代表最佳清洁度（α=1/（1+2qκ）），y轴代表从（34）中获得的特征值，用于S的单个实现。蓝色的平面线是排序的10倍CV估计器（|I|=100），红色虚线对应于排序的2倍情况（|I|=500）。我们还提供了强度为α=1/（1+2qκ）的线性收缩，其中q=1对应于|I|=500的情况。插图：我们将（34）的平方误差绘制为S的同一个实现作为K的函数。我们看到最小值在K=10（黄点）处达到。从实用的角度来看，估计器（35）是相当精确的，因为它可以推广到更一般的随机过程类。它提供了一个简单的工具，可以在样本相关矩阵模型之外的高维区域内以极高的精度逼近oracle估计器（28）。从理论的角度来看，为了理解（36）所表达的收敛性，我们还需要做一些工作。事实上，u（）和ui之间的关系，对应于在加法情况下讨论的重叠/相关情况，应该提供一些见解，以确定作为|I|基数函数的收敛结果。此外，研究式（33）中的次级负载项对于理解根据q和q的值发生的相变特别有意义。四、

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:47:15

结论综上所述，我们给出了加性或乘性噪声下大相关随机矩阵特征向量重叠的一般精确公式。值得注意的是，这些结果不需要了解潜在的“纯”矩阵，并且在不同的环境中有广泛的应用。我们发现，交叉样本特征向量重叠提供了关于真实特征值谱结构的前所未有的信息，远远超出了经验谱本身所包含的信息。例如，即使真实的底层相关矩阵非常接近单位矩阵，也可以可靠地估计其光谱的大部分宽度。我们已经用股票收益率关系的例子说明了我们的结果，它清楚地揭示了一个非平凡的整体特征值结构。我们还讨论了矩阵去噪的应用，特别是我们看到，可以利用独立样本之间的重叠来非常精确地近似所谓的oracleestimator。致谢：我们要感谢R.Allez、D.Bartz、R.B\'enichou、R.Chichepatiche、B.Collins、A.Rej、E.S\'eri\'E和D.Ullmo进行了非常有用的讨论。[1] G.Akemann，J.Baik和P.Di Francesco，《牛津随机矩阵理论手册》（牛津大学出版社，2011年）。[2] C.W.比纳克，《现代物理学评论》69731（1997）。[3] J.M.Deutsch，《物理评论》A 432046（1991）。[4] G.Itier和F.Benaych Georges，arXiv预印本XIV:1510.04352（2015）。[5] R.Nandkishore和D.A.Huse，《凝聚态物理年鉴》第6期，第15期（2015年）。[6] J.Eisert，M.Friesdorf和C.Gogolin，《自然物理学》11224（2015）。[7] I.M.Johnstone，《国际数学家大会论文集I》（2007），第307-333页。[8] J-P.Bouchaud和M。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:47:18

Potters，《牛津随机矩阵理论手册》（牛津大学出版社，2011年）。[9] D.Paul and A.Aue，《统计规划与咨询杂志》第150期，第1期（2014年）。[10] A.M.Tulino和S.Verdèu，通信和信息理论1，1（2004）。[11] R.Couillet，M.Debbah等人，《无线通信的随机矩阵方法》（剑桥大学出版社，马萨诸塞州剑桥，2011年）。[12] R.M.梅，《自然》238413（1972）。[13] Y.V.Fyodorov，《物理评论快报》92240601（2004）。[14] M.威尔金森和P.N.沃克，《物理学杂志A:数学与通则》286143（1995）。[15] O.Ledoit和S.P\'ech\'e，《概率论和相关领域》151233（2011）。[16] R.Allez和J.-P.Bouchaud，《物理评论》E 86046202（2012）。[17] P.Bougade，L.Erd"os，H.-T.Yau和J.Yin，《纯粹数学和应用数学交流》（2015）。[18] R.Allez和J.-P.Bouchaud，《随机矩阵：理论与应用》31450010（2014）。[19] A.Bloemendal，A.Knowles，H.-T.Yau和J.Yin，《概率论和相关领域》第1-94页（2015年）。[20] R.Couillet和F.Benaych Georges，arXiv预印本XIV:1510.03547（2015）。[21]R.Monasson和D.Villamaina，EPL（欧洲物理学通讯）11250001（2015）。[22]J.Bun，R.Allez，J.-P.Bouchaud和M.Potters，arXiv预印本arXiv:1502.06736（2015）。[23]Philippe Biane，量子概率通信11,55（2003）。[24]R.Allez，J.Bun和J.-P.Bouchaud，arXiv预印本十四：1412.7108（2014）。[25]W.James和C.Stein，《第四届伯克利数理统计与概率研讨会论文集》（1961年），第一卷，第361-379页。[26]J.Bun，J.-P.Bouchaud和M.Potters，《物理报告》666，1（2017）。[27]D.Bartz，arXiv预印本arXiv:1611.00798（2016）。[28]N.E.卡鲁伊，《统计年鉴》第2757-2790页（2008年）。[29]Z.Burda、A.G–orlich、A.Jarosz和J。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-5-11 13:47:22

Jurkiewicz，Physica A：统计力学及其应用343295（2004）。[30]A.Knowles和J.Yin，arXiv预印本arXiv:1410.3516（2014）。[31]T.W.安德森，《数理统计年鉴》第122-148页（1963年）。[32]Z.Burda，J.Jurkiewicz和B.Wac law，Physical ReviewE 71026111（2005）。[33]D.Voiculescu，《发明者数学》104201（1991）。[34]苏黎世大学经济系技术代表O.Ledoit和M.Wolf（2016年）。[35]J.Bun，J.-P.Bouchaud和M.Potters（2016）。[36]D.Bartz和K.-R.M¨uller，《神经信息处理系统的进展》（2014），第1592-1600页。[37]G.Biroli，J.-P.Bouchaud和M.Potters，arXiv预印本XIV:0710.0802（2007）。[38]Z.Burda，J.Jurkiewicz，M.A.Nowak，G.Papp，andI。Zahed，Physica A：统计力学及其应用343694（2004）。[39]N.El Karoui等人，《应用概率年鉴》19，2362（2009）。[40]R.Couillet，F.Pascal和J.W.Silverstein，《多变量分析杂志》139，56（2015）。[41]J.Friedman，T.Hastie和R.Tibshirani，《统计学习的要素》，第一卷（纽约统计学院斯普林格系列，2001年）。[42]从这里开始，上标a表示加性噪声。[43]对加法情况的分析得出了非常相似的结果。更准确地说，用方差σ的WaGOE（独立于W和W）取C=IN+W→0，我们发现Φa（λ，λ）由替换为2qκ的相同公式（26）给出→ σ/σ.[44]请注意，这个问题不会出现在additivecase中，因此可以安全地使用[30]中的浓度结果。[45]这种技术在机器学习中特别有用，我们请读者参考[41，第7.11节]以获得更详细的解释。附录：补充材料。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-11 13:47:26

独立样本协方差矩阵的均方重叠我们保留第II节B的符号，并且在没有混淆的情况下，通常会忽略m和m中的自变量z和z。使用定义m（z）=1/（zζ（z）），我们将（11）改写为ψ（z，~z）~1/m- 1/mg~z~m-~gzm, （A1）相当于ψ（z，~z）~z~zm- ~m【zgm- ~z~g~m]。（A2）然后我们可以将函数ψ表示为m的函数，并且仅表示为：ψ（z，~z）~qqzz（~qz）- q~z）~mm- ~m+（q- ~q）~mm- ~m+m+~mq~z-1.- qzz.（A3）要使用公式（5）的反演公式，我们需要计算ψ（λ）- iη，~λ±iη）。使用简写符号m（λ）=limη→0m（λ）- iη），我们确定η→0[ψ(λ - iη，~λ+iη）- ψ(λ - iη，λ- iη）]~~qλ- q)λq)q)λ)λmh)m- ~mi+~m~mh~m- ~miM- ~mM- ~m+~q- qqqλλmhm- ~miM- ~mM- ~m+ Im，（A4），其中我们省略了虚部的显式表达式，因为这对于等式（5）并不重要。然后，使用表示法m=mR+im和m=~mR+imI，一个findsmhm- ~mi+~m~mh~m- ~mi=2~mi2mI~mR+i（~mR+mR）- 2mRmR）,mh~m- ~mi=2~mi惯性矩- imR, （A5）和M- ~mM- ~m= （mR- ~mR）- （米- ~mI）+2imI（mR- 先生）。（A6）简单的计算结果M- ~mM- ~m=h（mR- ~mR）- （米- ~mI）i+4mI（mR- ~mR），=h（mR）- ~mR）+（mI++mI）ih（mR）- ■mR）+（mI- ■mI）i，（A7）正是（12）中的分母。对于分子，等式（A4）中的元素复分析得出mh~m- ~mi+~m~mh~m- ~mi×M- ~mM- ~m= 4mImIhmR | m|- | mR | m | i，（A8）和MH | m- ~mi×M- ~mM- ~m= 2mImIh | m|- |m | i.（A9）通过将最后三个方程与（A4）中的预因子重新组合，并回顾mI（λ）=πq%（λ）和mI（λ）=πq%（λ），因此我们使用反演公式（5）得到以下结果：Φq，q（λ，λ）=2（qλ- q)λ）m先生|- |m先生|+ （~q）- q）|~m|- |m|λ∧h（mR- ~mR）+（mI++mI）ih（mR）- ■mR）+（mI- ~mI）i（A10），这正是等式（12）。B

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-5-11 13:47:29

变形GOE矩阵的均方重叠两个独立变形GOE的重叠（19）的推导与样本协方差矩阵非常相似。因此，我们将省略通过遵循上述附录的论点可以获得的大部分细节。在没有混淆的情况下，我们将再次跳过参数λ和λ。在第二节C中，我们得到了limη→0ψ(λ - iη，~λ+iη）- ψ(λ - iη，λ- iη）=Gζa-ζa+ ζa~g-~g+ g|ζa-~g~ζaζa- ζaζa- ζa. （B1）通过如上所述（见等式（A4）及其后），我们发现：ζa-ζa+ ζa~g-~g+ g|ζa-~g~ζa=2（ζaI)gI- gISζaI）+iζaI（gR-~gR）-~gI（ζaR）-ζaR）（B2）和ζa- ζaζa- ζa= （ζaR）-ζaR）+ζaI-ζaI+ 2iζaIИζaR- ζaR. （B3）因此，通过将最后两个方程放入（B1）中，然后使用（5），我们在一些简单的计算后得到Φa（λ，＠λ）=（σ+＠σ）（ζaR）-ζaR）+2σσ（gR）-~gR）（ζaR-ζaR）- (σ- ■σ）（（ζaI）- （ζaI）（ζaR）-ζaR）+（ζaI++ζaI）（ζaR）-ζaR）+（ζaI-ζaI）, （B4）经过一些操作后正好是（19）。C.在相关高斯加性噪声的情况下，在本节中，我们给出了具有相关噪声的等式（19）的精确推导。LetS=C+W，~S=C+W，（C1），其中W是两个相关GOE矩阵（独立于C），满足hWiN=0，hWiN=0，Cov（W，W）=σρρσ, （C2）其中，我们用N表示高斯测度，并使用缩写ρ=ρσ。利用Goeender加法的稳定性，让我们重写噪声项asW=A+B，W=A+B，（C3），其中A满足=0，hAiN=ρ，（C4）和独立于A的带通双通矩阵hBiN=0，hBiN=0，hBiN=σ- ρ、 hBiN=σ- ρ、 hBBiN=0。（C5）我们可以检查，这种参数化精确地产生等式（C2）的相关结构。因此，将（C3）转化为（C1），我们就有了等价性（在法律上）S=D+B，~S=D+B，（C6），其中我们定义D..=C+Alaw=C+√ρW，（C7）与方差为σσ的Wa-GOE矩阵。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝