我们必须记住，我们正在考虑这样一种情况，即N和T都以固定比率r为单位，并且相边界是在这个特定的极限下推导出来的。然而，在极大极小问题（α=1）的特殊情况下，优化的可行性或其他方面也可以由有限N和T决定。对于有限N和T，没有明显的相边界（有限系统中没有相变），相反，可以进行优化的概率很高，但对于N/T<1/2小于1，很小，但对于1/2<N/T<1，不为零，对于N/T>1，相同为零[18]。如果N和T的比值r=N/T不变，则r<1/2的高概率变为1，1/2<r的小概率变为零，因此临界点固定在r=1/2。学生的行为√坎德√qcurves表明，对于有限N和T，对于0和1之间的任何α，都会出现类似的情况：我们推测，如果能够将[18]中的组合结果从α=1推广到一个通用置信水平，那么将在该区域找到一个高概率的解，最终成为N，T的可行区域→ ∞ , 在相界以上的概率很小，在r=1以上的概率为零。现在让我们包括第三个等式（53），它决定 根据我们上面讨论的控制参数和两个比率，从而允许对所有三阶参数分别进行完全求解。图4显示了.这些线或多或少地沿着相位边界，直到在某一点上弯曲，并朝着r=0，α=1的点落下。越来越高的价值观 这些等值线在弯曲之前越来越靠近相边界，之后在α=1时，它们与垂直线的距离越来越近。

请注意，轮廓线 永远不要离开可行的区域。这种行为告诉我们什么？我们必须记住这一点 出现在两个角色中：它与ES（等式46）的样本估计值成反比，也与样本平均portfolioweights（等式48）的敏感性成反比。分歧 这意味着ES的样本内平均值（及其估计误差）在相位边界上消失，精确地在0处。0.2 0.4 0.6 0.8 1.00.0 0.1 0.2 0.3 0.4 0.5αr0。10.51251010500固定式电缆长度0●ε=0图4：固定的轮廓线. 红点代表给定的r=N/Tat的最大值 并与 = 0行。数量 是投资组合权重对收益率微小变化的敏感性，同时与样本中的估计值成反比。0.0.2 0.4 0.6 0.8 1.00.0 0.1 0.2 0.3 0.4 0.5αr1。051.11.21.351.51.7522.55101固定q的等高线图5：固定q的等高线。这些曲线也是ES样本外估计相对误差的等高线。样本外估计存在分歧。很明显，样本内估计误差总是小于样本外估计误差。然而，我们在这里学到了更多。事实上√当跨越相位边界时，QI定义相当于说，在临界点，样本内和样本外的估计误差彼此成反比：样本内的估计似乎是最令人鼓舞的，在这一点上，它变得最具误导性。在方差作为风险度量的情况下，我们也观察到了类似的行为[17]。现在让我们转到另外两个阶参数。在图5中，我们展示了q的轮廓图，q是ES相对估计误差的度量。

可以看出，qalso的轮廓线弯曲，但与 线，它们不会下降到零，但在另一次弯曲后，会在α=1时达到某个特定值。然而，对于相当小的相对误差（对应于最低曲线），该限值非常小，意味着非常大的T值。最后，在图6中显示了 展览。正如我们已经提到的， 是在ES下优化的投资组合的VaR，当然不同于在VaR下优化权重的aportfolio的VaR。0.0.2 0.4 0.6 0.8 1.00.0 0.1 0.2 0.3 0.4 0.5αr0。250.50.7511.251.52-0.25-0.5-0.75-1.-1.5-2.5固定ε的轮廓图6:, 在ES下优化的投资组合的VaR。6历史估算结果我们现在可以得出上述发现的结果。在上一节中，我们构建了表征VaR估计误差问题的量的等值线图。这些图覆盖了相位边界以下的整个区域，在该区域可以进行ES优化。从实用角度来看，最重要的区域是α=1线附近。因此，让我们关注该法规倡导的直线α=0.975。四个量√Q- 1.,√坎德 A沿α=0.975线的r函数如图所示。分别为7,8,9和10。我们可以看到√坎德 随着r单调增加。我们已经了解到√Q- 1是ES的相对估计误差。根据图7，只要N/T很小，这个相对误差就很小，也就是说，与N相比，样本量很大。随着r的增加，相对估计误差迅速变得非常大。

表1.0 1 2 30 0.5q0中给出了几个数字样本- 1rα=0.975图7：相对估计误差√Q-1在α=97.5%时，ES作为N/T的函数。0 1 20 0.5εrα=0.975图8:VaR 在α=97.5%时，作为N/T函数的ES优化组合的。价值 随着N/T的增加单调递减，当N/T接近与相位基准对应的值时趋于零（对于α=0.975，非常接近0.5）。估计α误差↓ 0.7 0.8 0.9 0.91 0.92 0.93 0.94 0.95 0.96 0.97 0.975 0.985%26 27 33 35 37 43 53 64 72 8310%14 14 14 18 19 20 21 24 27 31 35 4015%10 10 12 12 13 14 18 20 2520%8 8 9 10 11 15 17 25%6 7 8 8 9 10 11 12 1250%4 4 4 5 5 5 5表1：表1显示了对不同值进行给定估计误差所需的T/N（四舍五入）值信心水平α。即使是25%的估计误差，也需要比监管建议的置信水平α=0.975的投资组合中的项目数量大12倍的样本。该表表明，为了在α=0.975的N=100个股票的中等规模投资组合的估计预期缺口中有10%或5%的相对误差，我们必须有长度T=3500的时间序列。T=7200。这些数字完全不现实：它们分别对应14个数字。28.8年，即使时间步长为一天（而不是一周或一个月）。0 50 1000 0.5 1δrα=0.975图9：数量√q=δ测量估计ES相对误差的灵敏度，作为α=97.5%时N/T的函数。垂直虚线对应于N/T的临界值。

比例√q=δ在这里没有发散。0 50 1000 0.5rα=0.975图10：数量, 衡量投资组合权重对收益率微小变化的敏感性，作为α=97.5%时的N/T函数, 衡量最优权重对收益率微小变化的敏感性也同样令人沮丧：它增长非常快，并在阶段基础上发散。至于敏感性√QT测量ES估计的灵敏度，它也随着N/T的增加而快速增加，尽管它在相边界处仍然是有限的。与上述情况相比，, ES优化投资组合的VaR随着r的增加而降低。这与ES本身样本估计中的VaR行为一致（与) 在相位边界处消失。考虑到当我们接近相边界时，明显的套利效应越来越主导优化，可以理解样本ES和VaR在相边界处的消失，因此，最优投资组合的概率密度（不是权重的密度，而是利润和损失分布的密度）向左移动（记住，按照惯例，损失被视为正，收益为负）。因此，与固定α对应的ES和VaR必须单调递减。7参数ES估计误差的等高线到目前为止，我们已经考虑了ES的历史估计，并且发现对于任何合理的参数集（投资组合规模、信心水平、样本大小），估计误差都非常大，或者相反，产生可接受估计误差所需的时间序列非常长。

我们可以预期参数估计会更好，这就是我们将在本节中展示的内容。为了明确这两种方法之间的区别，我们注意到，尽管在前面的章节中，我们使用了高斯分布来生成收益数据，但在优化过程中，我们假装不知道这一事实，并将这些数据视为在市场上观察到的数据。相比之下，在本节中，我们将假设数据遵循高斯分布，但我们不知道其参数（均值和方差）。实际上，在[20]中已经考虑了这个问题，但那篇论文的重点再次放在了不稳定性问题上，并且没有研究可行区域内的估计误差程度。解决方案是通过复制的方法获得的，然后是与历史估计处理相同的大直线，只是稍微简单一些。在历史估算的上下文中，我们重述了复制法的关键点，我们觉得现在不需要深入任何细节，所以我们只需要让读者参考文献[20]，并从公式（37）中找到线索。（请注意，qqin的数量被称为[20]。）该公式给出了估计误差平方的样本平均值√qasq=φ（α）（1）- r） α（φ）- r=rc（α）rc（α）- r、 （59）式中φ（α）=e-(Φ-1(α))(1 - α)√2π，（60）α是置信水平，Φ-1与之前一样，累积标准正态分布的倒数。对于rc，它是r=N/T的临界值，在该临界值处，平均估计误差发散rc（α）=φ（α）1+φ（α）。

（61）由数值证据支持的一般理论考虑[13]表明，在大N的限制下，样本上的qa分布是尖锐的，因此我们可以将qa视为给定的数字，而不是随机变量。我们可以从（59）中看到，当r从下面转到Rc时，Q会发生变化：此时，参数估计失去了意义。曲线r=RCI是ES参数估计的相位边界。这是图11中最上面的曲线。为了获得等高线，我们将公式（59）倒置，并将r表示为：r=q- 1qrc（α）。（62）可以看出，属于估计误差给定值qo的线从临界线简单地缩小。当QI在定义上大于或等于1时，rc（α）的阶乘N前沿在0（对应于q=1，即相当长的观察时间，N/T=0）和1（对应于q=0）之间变化∞ 在相位边界上）。5%10%25%50%100%200%00.510 0.5 1α图11：ES参数估计误差的等高线图。其中一些曲线如图11所示。现在很容易计算出给定相对误差和给定投资组合N所需的样本量T。让我们考虑一个投资组合N=100种不同证券的ES参数估计，并规定相对误差为10%，即q=1.1。让我们进一步假设，根据法规的设想，置信水平为α=0.975。这个α的临界值Rca约为0.9，所以r的计算结果约为0.156。对于组合sizeN=100，这意味着确保10%误差所需的时间序列长度为682个时间步（天数或周，取决于portfoliomanager的观察频率）。这是一个非常大的数字，尽管远低于历史估算中相同精度所需的3500步。

表2给出了几个进一步的数值例子。估计α误差↓ 0.7 0.8 0.9 0.91 0.92 0.93 0.94 0.95 0.96 0.97 0.975 0.985%19 16 14 14 13 13 1310%10 9 8 8 7 7 7 7 7 715%7 6 5 5 5 5 5 5 520%6 5 4 4 4 4 4 4 4 4 4 3 3 3 350%3 2 2 2表2：该表显示了需要有给定估计误差的T/N四舍五入值，用于α水平的不同值计算预期短缺的参数估计。如果我们要求更高一点，并规定估计误差为5%，那么这些数字的计算结果分别约为T=1272。7200为参数，分别为。历史估计。虽然参数VaR等值线图不是本文的主题，但从[20]中我们知道，在1附近的α区域，ES和VaR水平曲线之间的差异必须可以忽略不计，因此参数VaR估计的数据要求与ES的情况一样荒谬。我们可以看到，与预期的历史估计相比，参数估计对数据的要求更少，但它们仍然在一个完全超出任何实际可实现样本量的范围内。8关于可能扩展的备注：相关性和不均匀投资组合、厚尾分布和正则化我们在本研究中做出了一些简化假设：我们假设基本风险因素的波动为i.i.d.正态，忽略了除预算约束外的所有可能约束，并考虑了特殊限值N，T→ ∞ 不确定。人们可能想知道，这些假设与估计误差的令人失望的结果之间有多紧密的联系，以及它们中是否有任何一个可以放松。让我们首先考虑一下相同的分配和独立性问题。

如[20]中所示，对于VaR和ES的参数估计，但对于历史估计同样适用，具有任意（但可逆）协方差矩阵的高斯函数可以简单地适应于复制形式主义，代价是一些额外的影响和更复杂的公式。同样，投资组合预期回报的约束也可以很容易地包含在内，从而为问题增加一个拉格朗日乘数。所有这些特征都保持了我们信息的本质不变，事实上，与我们上面分析的简化问题相比，它们要求在相同的估计误差水平下获得更大的样本。然而，基础波动的高斯特性是一个基本限制：复制形式主义无法处理非高斯基础波动，而非高斯基础波动是真实市场的一个普遍特征。为了研究厚尾的影响，我们不得不借助数值模拟来解决（7）中的线性规划问题。正如所料，厚尾使得估计误差甚至比高斯函数更大。图12中显示了一个示例，其中我们显示了对应于√Q- 1=0.05这是高斯情况下ES的样本外历史估计中的5%误差，以及两个学生分布的相同曲线，分别为ν=3。ν=10个自由度。这张图需要一些评论。连续的黑线来自解析解析解析理论计算，小的黑圈是在相应的控制参数值下模拟（线性规划问题的数值解）的结果。请注意，模拟结果基本上落在分析曲线准备上，N=50的值相对较小。

这是可行区域内部的一般经验：模拟规模相对较小的投资组合，N在50到几百之间，重现分析结果（对应于极限N）→ ∞) quitewell，前提是对大量（通常为500及以上）样本的数值结果进行平均。然而，在相位边界附近，收敛速度显著减慢，精确数值结果所需的投资组合规模和样本数量迅速超出了实际可实现的范围。i.i.d.学生分布回报率的模拟结果分别为ν=3。ν=10自由度，与高斯情况下相同的N=50和5%误差，分别产生蓝色（ν=3）和紫色（ν=10）显示的轮廓线。（连续的蓝色和紫色线条只是眼睛的向导，测量数据由小圆圈显示。）正如预期的那样，与这些厚尾分布对应的轮廓线位于高斯曲线之下，这意味着要获得与给定神经网络相同的估计误差，需要比高斯情况下更大的样本。v=10学生曲线比v=3曲线更接近高斯曲线，这就是它应该是什么样子：对于v→ ∞ 学生分布进入高斯分布。当我们接近α=1时，高斯曲线和ν=3学生曲线之间的差异迅速增加：二者的比率用棕色线表示。垂直虚线表示α=0.975的调节值。高斯值和ν=3学生值之间的比率约为3。7.这个α。这意味着，对于这种带尾分布，样本数必须是高斯分布的四倍。

这似乎是有道理的：我们正在处理一个风险度量，重点是远尾的波动，其中窄尾分布和厚尾分布之间的差异最大。高斯曲线和ν=3曲线之间的差异当然不小，但在高斯情况下，数据要求已经非常不现实，因此对厚尾分布的额外需求几乎无关紧要。●●●●●●●●●●●0 0.5 10 0.02 0.04●●●●●●●●●●●●●●●●●●●●●●●●GausssStudentν=3 Studentν=10Gauss/ν=3比值αrN=505%误差●●●●●●●●●●●1234比率图12：估计误差√Q- 1=0.05从数值模拟中获得的等高线，对于高斯分布（黑色小圆）、Studentν=3（蓝色线和蓝色小圆）和Studentν=10（紫色线和紫色圆）分布，等高线尺寸N=50。为了进行比较，还提供了复制理论结果（黑线）。棕色线显示了与高斯函数和Studentν=3的相同α对应的N/T值的比率。虽然复制法使我们能够计算相对误差的期望值，以及在随机高斯样本上平均的最优投资组合权重的分布，但它没有提供关于这些数量在样本之间的影响程度的信息。（这在原则上不是一个限制：在复制法的背景下，将鞍点计算推到领先顺序之外一步，就可以得出估计误差分布的宽度。这种计算将需要非常严重的影响，并且超出了当前工作的范围。）我们不再试图从分析的角度推导分布的宽度，而是再次求助于数值模拟。

我们发现，在远离相界的安全距离处，样品上估计的ES分布变得越来越集中，其宽度在N，T中接近零→ ∞ 限度虽然分布峰值的位置稳定得相当快，但宽度的收敛相当缓慢。图13给出了一个说明。然而，在相界附近，平均估计误差超出任何界限，其变化取决于极限的顺序：如果我们在保持N，T有限的情况下进入相界，分布的宽度会扩大，在相反的界限中，分布最终缩小为狄拉克三角洲。这种行为符合人们在相变中预期的结果。0510150 0.5q0- 1p（q0- 1） N=25N=50N=100N=200N/T=0.025α=0.975●●●●0.02 0.03 0.04 0.05 0.06Nσq025 50 100 200图13：在置信水平α=97.5%的情况下，N/T=0.025时，N=25,50,100,200的数值模拟样本的估计误差分布。这些曲线由5000、5000、15000和100个样本的平均值获得。分布变得越来越尖锐的趋势→ ∞ 这很清楚。插图：估计误差分布的提取宽度的相关性。宽度在极限N，T接近0→ ∞.我们分析的另一个基本限制是忽略了对Portfolio权重的可能约束。这些限制可能会对不同资产组（对应于工业部门、地理区域等）的卖空行为施加限制。约束可以（并且通常确实）确定在投资组合权重空间中寻求最佳投资量的领域。任何这样的约束都将起到正则化器的作用，并将防止发生到不可行区域的相变。

如[22,23]所示，正则化器可以内置到重复方法中。然而，各种可能的限制系统或正则化器对优化问题引入了非常不同的修改，我们认为它们的包含和详细分析将与本文的主旨相去甚远（至少会使其长度增加一倍），因此我们决定将问题的这一重要方面留给后续出版物。9结论在对这项工作进行简短且非常初步的描述[46]的基础上，在本文中，我们考虑了在最简单简明的环境下，在风险度量预期短缺下的最优投资组合选择问题：我们假设投资组合是具有i.i.d.标准正态分布回报的资产的线性组合，我们的目标是全球最小风险投资组合，忽略对权重的任何约束，预算约束除外。因此，潜在的过程根本没有任何结构，它只是纯粹的噪音。我们问的基本问题是：对于投资组合中给定数量的N个资产，统计样本的大小T必须有多大，以便优化在规定的估计误差内返回正确的最优值（没有结构，最优投资组合权重彼此相等）。我们在历史估计的情况下得到的答案非常令人沮丧：优化有限样本会产生通常广泛的权重分布、假想的相关结构和一种幻象。为了在可接受的误差范围内获得正确的答案，我们需要非常大的样本，远远超过实际可达到的任何观察时间长度。

从质量上来说，这正是人们所期望的，但我们的结果有助于以精确、定量的方式阐明这一结论。值得注意的是，尽管参数估计的结果比历史估计的结果更有利，但必要的样本量仍然远远高于任何可以被视为现实的因素。因此，我们的结论与许多其他作者一致，他们认为以原始（未过滤、未规范）形式优化大型投资组合是没有希望的。【31】中摘要的第一句话：本文的中心信息是，任何人都不应将预期缺口用于投资组合优化。有人可能会提出反对意见，认为ES是衡量投资组合风险的诊断工具，而不是对其最优结构决策的帮助。这很可能是事实，但VaR[47]的职业生涯表明，机构将不可避免地被驱使使用新的监管市场风险度量，超出其声称的范围：一个终止约束很容易承担起目标函数的作用。此外，风险不仅难以优化，而且正如Danielsson和Zhou[11]的发现清楚地表明的那样，也难以衡量。据我们所知，我们用于获得量化结果的方法是唯一已知的优化ES的分析方法，并使我们得出了一组关于样本外估计的相对误差、对收益微小变化的敏感性以及ES优化投资组合的VaR的封闭方程。这些方程通过数值求解；在一些特殊情况下，包括有趣的minimaxrisk度量，手动。

我们的方法的适用范围并不局限于i.i.d随机变量的一般情况，我们计划将其用于基础随机过程具有结构的模型（协方差和收益率非零的非齐次投资组合）。有趣的是，要想以可容忍的误差覆盖这样的结构，样品的尺寸必须有多大。在目前的工作中，我们故意不考虑任何正则化或其他降维方法。在目前这样的高维环境中，这些方法的应用是强制性的。他们在这里的遗漏部分是因为试图以最简单的形式呈现一种大多数读者可能不熟悉的方法，以及由此产生的非平凡分析结果，但也因为试图将论文长度保持在合理范围内。然而，还有一个更严肃的考虑。正则化、降维、对权重组的限制，或任何其他旨在抑制估计值的剧烈波动的方法，都会对可接受的最优值施加某种结构，从而必然引入偏差。这就提出了一个重要的问题，即偏见和偏见之间的权衡。考虑到这些极不稳定的估计，需要一个非常强大的正则化来稳定它们，因此强大的正则化意味着充当主导贝叶斯先验，基本上压制了来自经验样本的信息。

面对真实市场数据的有限样本（而非我们的合成数据），投资组合经理可能会决定完全无视来自市场的信息，选择天真的1/N投资组合（如[48]的结果所示），或者根据专家意见或直觉行事，不管怎样，在大多数情况下可能会发生什么[49]。或者，更糟糕的是，她可能会相信一个黑匣子优化器包是一个干净的市场信息来源。澄清背景知识可以整合到优化中的精确定量条件是一项值得努力的工作，不存在完全挤占市场信息的偏见，我们相信本文在过于简单的环境中采用的方法在更现实的市场模型中也会被证明是有用的。感谢我们感谢许多人在这个项目上进行了有益的交流，包括E.Berlinger、I.Csabai、J.Danielsson、B.D¨om¨ot¨or、F.Illes、R.Kondor、M.Marsili和S.Still。FC感谢经济及社会研究理事会（ESRC）对系统性风险中心（ES/K002309/1）的资助。IK非常感谢在撰写本文期间，伦敦大学学院计算机科学系对他的热情款待。附录A副本计算在本附录中，我们展示了如何从线性规划问题中推导出成本函数公式（29），该问题解决了预期短缺的优化问题。这种方法是从无序系统理论中衍生出来的，被称为重复法。Ciliberti等人首次将该方法应用于投资组合环境中。

[19] [21]中的推导形式略有修改；包含在这里是为了使本文更加完整。我们需要找到最低的ofE[, {ut}]=（1）- α） T +TXt=1在约束下≥ 0，ut+ +NXi=1xi，twi≥ 0tandNXi=1wi=N。计算过程如下：遵循统计物理的一般策略，我们通过引入反温度γ的效应，将上述“尖锐”优化替换为“软”优化，并定义正则配分函数（或生成函数）asZγ[{xi，t}]=Z∞TYi=1dutZ∞-∞D θut+ +NXi=1xi，twi！E-γE[,{ut}]，（A.1），其中θ（x）=1，如果x>0，否则为零。因此，配分函数是与问题约束相容的变量的所有可能配置的积分，其中每个配置, {ut}由玻尔兹曼重量e加权-γE[,{ut}]。原始优化问题可以在极限γ内恢复→ ∞ 其中只有E的最小值[, {ut}]有贡献。在Limper函数中，可以从Limper计算出大成本→∞limγ→∞-logzγ[{xi，t}]γN.（A.2）为了导出系综的典型性质，我们必须对所有可能的返回实现进行平均，并计算logzγ[{xi，t}]i=Z∞-∞NYi=1TYt=1dxi，tP[{xi，t}]log Zγ[{xi，t}]，（A.3），其中P[{xi，t}]是收益的概率密度函数。求对数的平均值很困难。复制技巧的设计就是为了避免这种困难。它基于identityhlog Zi=limn的使用→0hZnin、 （A.4）对于整数n，我们可以计算Znas作为一个系统的配分函数，该系统由原始系统的n个相互独立的副本组成。对实际值n的解析延拓将允许我们执行极限n→ 0并获得所寻求的量logzγ[{xi，t}]i。

该方法的致命弱点是从整数到实数的解析延拓；解析延拓的唯一性通常不容易证明。在无序系统理论中，最初通过复制Trickkw获得的结果后来通过严格的数学方法进行了验证[14,15,42]。目前的模型还没有建立这样一个严格的证明。然而，考虑到我们的代价函数的凸性，我们相信该方法一定会得到正确的答案。