设{yt}为实值离散时间随机过程，{xxxt}为RN值离散时间随机过程，使得联合过程{yt，xxxt}的每一个边缘都允许一个满足上述条件（a）、（b）和（c）的概率密度函数。根据定理3.2，设{ymt，xxxmt}为离散化过程。Thenh（{yt}）=limm→+∞H（{ymt}）- m、 （30）h（{xxxt}）=limm→+∞H（{xxxmt}）- mn，（31）h（{yt}{xxxt}）=limm→+∞H（{ymt}|{xxxmt}）- m、 （32）andI（{yt}|{xxxt}）=limm→+∞H（{ymt}）- H（{ymt}|{xxxmt}）。（33）换言之，如果我们可以估计离散熵率，我们可以估计不同熵率和不同互信息率，从而估计增量差异。有趣的是，与差分熵率不同，差分互信息率实际上是在{yt}离散化和{xxxt}离散化之间的离散/沙农互信息率的极限下获得的，即H（{ymt}）- H（{ymt}|{xxxmt}），作为离散化误差 = 2.-MN转到0.3.4。估计增量多元化差异互信息时间尺度并不总是存在。当过程{yt，xxxt}静止时，保证存在差异互信息时标1/I（{yt}{xxxt}）。因此，在本文的其余部分，我们假设{yt，xxxt}是联合（强）平稳和（强）遍历的[7]。然而，我们注意到，这些假设没有限制性，因为它们不可能在有限样本的实验中失效。为了估计不同的互信息时间尺度（{yt}{xxxt}）=h（{yt}）+h（{xxxt}）- h（{yt，xxxt}），能够从单样本路径（zzz，…）估计任何向量值离散时间平稳遍历随机过程h（{zzzt}）的熵比是很有效的。

，zzzT）；这就是我们讨论的重点。考虑到差异互信息率通过重标度是不变的，我们假设{zzzt}的协调过程都具有相同的方差πe，大多数（如果不是全部的话）平稳性统计检验会做出额外的假设，例如过程是AR（p），这一事实是流行的单位根检验（如DickeyFuller、Phillips Perron等）所依赖的。这些测试假设要测试的样本跨越的时间范围比底层进程的内存长。因此，当其中一个平稳性测试通常失败时，多个假设中的一个可能是错误的：基础过程的记忆可能比样本量长得多，或者说样本可能太短，无法描述基础过程，或者差异模型（例如AR（p））可能不适合基础过程，或者该过程可能是非平稳的。从单位根测试失败中得出非平稳性的唯一方法是将其他假设视为公理，在这种情况下，测试不再是平稳性测试（即非平稳性为唯一无效假设的测试），而是完全假设是非平稳性的组合，一种特殊的差异模型，并且假设底层进程的内存不超过测试样本的范围。持怀疑态度的读者可能会发现，用平方指数方差函数γ（u，v）=exp模拟平均零高斯过程很有用-（u）- v） /10在[0,1]上，请注意，绘图很可能无法通过任何平稳性测试，与网格的网格大小无关，因此与样本大小无关，即使它们是从平稳过程模拟的。

怀疑论者readerwould还指出，如果使用[0100]上的samplessimulated运行相同的测试，他们可能会通过传统的平稳性测试。如果需要，我们会相应地规范化样本路径（zzz，…，zzzT）。我们对方差进行了这种特殊的选择，以简化估计的解释和调试。实际上，在这个约束下，h（{zzzt}）≤ 当且仅当i{zzzt}是无记忆的，也就是说它的样本是独立的，ii）它的坐标过程是独立的，iii）它是阿加西过程，等式成立。估计的熵率高于n表示存在实现缺陷。严格低于n的估计熵率表示时间依赖性（记忆）、交叉依赖性或非高斯性。在下文中，我们讨论并比较了三种估计方法，即第3.4.1节中的无模型估计、第3.4.2节中的非参数估计和第3.4.3节中的最大熵估计。无模型方法不假设{zzzt}的差异。非参数方法不假设{zzzt}差异的参数模型，而是假设为高斯过程。最后，最大熵方法采用了同名的建模原则，该原则规定，在所有与经验证据一致的模型中，除了已观察到的以外，应始终选择对所有事物最确定/最无知的模型。3.4.1. 无模型估计我们从第3.3节回忆起，可以通过首先离散输入过程，然后估计离散化过程的离散熵率，最后调整离散化精度来估计不同熵率。

我们还注意到，当输入过程是强遍历平稳的时，其离散化也是如此。随机源发射的字符序列的复杂性概念与发射源的离散熵率紧密耦合。特别令人感兴趣的是[8]中介绍的Lempel-Ziv复杂性（我们在清单1中提供了一个Python实现）与平稳遍历过程的离散熵率（我们在下面回忆）之间的联系。定理3.3。设{aaat}是一个离散时间平稳遍历随机过程，取一个可数集a中的值，且具有离散熵率（{aaat}）。如果我们表示这个过程长度T的样本路径的Lempel-Ziv复杂性（如清单1所示），那么h（{aaat}）=limT→∞c（T）logTTa。s、 （34）推论3.3。设{aaat}是一个离散时间平稳遍历随机过程，取可数集a中的值，使得0<H（aaat）<∞.让我们考虑一条具有LempelZiv复杂性c（T）的路径（^aaa，…，^aaaT）。设^aaait为1≤ t型≤ 支架1≤ 我≤ k是从随机均匀抽样的{aaa，…，aaaT}中独立抽取的，用替换，并让我们表示ci（T）序列的Lempel-Zivcomplexity（^aaai，…，aaaiT）。那么对于k>1，H（{aaat}）H（aaat）=limT→∞c（T）kPki=1ci（T）a.s.（35）证明。提示：对于每个i，H{aaait}= Haaait公司=H（aaat）=极限→∞ci（T）logTTa。s、 总之，c（T）logtti是离散熵率的一致估计。然而，在实践中，我们发现定理3.3的收敛速度比推论3.3的收敛速度慢。因此，我们选择估计给定字符序列asH（{aaat}）的离散熵率≈^H（aaat）c（T）kPki=1ci（T），（36），其中^H（aaat）=-Xipilogpiand术语表示（^aaa，…，^aaaT）中不同符号出现的频率。

方程（36）的估计是对每k的离散熵率的一致估计，但较大的k有助于减少估计方差。最后，利用第3.3节的结果，我们可以估计任何向量值平稳遍历过程的差异熵率，因此我们可以估计增量差异。我们强调，除了遍历性和平稳性之外，这种方法不需要替代任何关于{yt，xxxt}差异的假设，在这种意义上，它是无模型的。算法1提供了一个摘要。离散化精度m的选择：推论3.2和3.3保证了算法1的收敛到真实熵率，因为两者都需要达到一致性。然而，对于给定的样本量T，正如实际情况一样，估计误差随m变化很大。m太小，推论3.2中的估计误差将很大。过大的m和离散化的样本将具有不同的特征，无论其来源如何，其Lempel-Ziv复杂性将是样本大小集，并且我们对熵率的估计（接近logT）将超调（见图（1a））。在实践中，我们发现-Qπ和Qπ之间的误差在一系列样本量中都很好。数据效率：当输入过程的维数较大时，在应用此方法之前应小心。事实上，如果我们表示在输入Rn值过程{zzzt}的协调过程的离散化中我们期望看到的不同字符的数量，那么{zzzt}的离散化可能需要多达个和有限个字符。我们注意到，尽管 即使对于中等n（例如，n≈ 30）因此，所有字符in（^zzz，…，^zzzT）都将是不同的，并且c（T）和ci（T）都将等于T，而不考虑潜在来源的影响。

图（1b）的实验很好地说明了这一问题。我们从标准高斯白噪声中生成了10个独立的绘图，每个绘图的样本大小T=100。图（1b）说明了Lempel-Ziv复杂度和样本量之间的比率随维数的变化。可以看出，对于n=1，Lempel-Zivcomplexity小于样本大小的一半，但是对于n=3，它增加到样本大小的95%左右。从n=5开始，所有字符都是不同的，c（T）=T。一般来说，对于较大的n，达到令人满意的估计精度所需的样本大小T可能非常大。根据经验，估计的熵率接近于log（T）- mn表示样本尺寸太小。可扩展性：算法1与样本量T和输入过程的维数n呈线性扩展。然而，正如前面所讨论的，准确估计所需的样本数T本身取决于n。对于固定的估计精度，所需的样本数T以及由此产生的时间复杂度，在n.3.4.2中通常会呈指数增长。计算熵率的非参数估计分析公式并不总是可用的。然而，当{zzzt}是平稳高斯过程时，它的熵率存在且以闭合形式存在。更准确地说，如果我们表示Γ（h）：=Cov（zzzt，zzzt+h）的自协方差函数{zzzt}，如果我们假设+∞Xh公司=-∞||Γ（h）| |<+∞,其中| |.| |表示任意矩阵范数，则矩阵值谱密度函数g（ω）：=2π+∞Xh公司=-∞Γ（h）e-ihω（37）定义良好，与自协方差函数形成傅里叶对，Γ（h）=Z2πg（ω）e-ihωdω（38），熵率读数：h（{zzzt}）=4πZ2πlogdet4πeg（ω）dω。

（39）因此，在平稳高斯情况下，可以通过首先估计光谱密度函数，然后使用方程（39）来估计熵率，其中积分可以数值近似。谱密度函数的原始估计量是周期图[0，2π]的分段常数扩展，定义为^g（ωk）=2πdkd*k（40）带DK=√TTXt=1ZZTE-i（t-1） ωk，其中d*k表示dk的复共轭的转置，对于ωk=2πkT，k=0，bTc。周期图不是一元标准高斯白噪声的（a）Lempel-Ziv复杂度的一致估计，该复杂度是离散化精度m的函数，与样本量（T=100）成比例，并在1000次随机抽取中平均。（b） 多元标准高斯白噪声的Lempel-Ziv复杂度是序列n个数的函数，离散化精度m=1.58，与样本量成比例（T=100）。图1：离散时间序列的Lempel-Ziv复杂性与输入维数和离散精度的函数关系。光谱密度函数。由于平滑，它通常会得到改进并保持一致。回顾谱密度估计方法超出了本文的范围。关于平滑周期图的更详细讨论，请参阅参考文献[10，11]。备注3.6。高斯假设可以通过假设{yt，xxxt}可能不是高斯的，但存在一个映射φ，使得随机过程{cfcfνt}：={（yt，φ（xxxt））}是高斯的、平稳的和遍历的。

然后，可以以闭合形式获得{ИИИt}的周期图及其平滑版本，并且仅取决于{yt，xxxt}的谱密度函数和由特征映射φ诱导的再生核，这使我们能够通过kerneltrick考虑可能的有限维特征空间（有关更多详细信息，请参见[12]）。至于核的选择，文献[13]中的广义谱核提供了一个可证明为任意可变的族。方程式（39）可用于估算I（{yt}；{φ（xxxt）}），虽然通常与I（{yt}；{xxxt}）不同，但可作为增量差异的代理。如前所述，如果特征映射φ被选择为平滑双射，则I（{yt}；{φ（xxxt）}）=I（{yt}；{xxxt}）。数据效率：与无模型情况一样，当输入过程的维数n太大，但原因不同时，在应用此方法之前应小心。这里的理由是，估计谱密度函数通常与维数n的标度很差，很难处理T n、 为了使用这种方法估算增量差异，操作员可能会发现，首先使用一种广泛的可用技术（例如PCA和kernelPCA【14】、GP-LVM【15】、自动编码器【16、17】、流形学习【18、19、20】等）来降低{xxxt}的维数是有用的，然后使用{yt}和压缩版本{xxxt}之间的差异互信息时间尺度作为增量差异的代理。

在第3.5节中，我们提出了一种更具数据效率的增量分布近似值，因为它不需要估计大尺寸谱密度函数。可伸缩性：由于需要在多个频率上计算et[g（ω）]以数值计算方程（39）中的积分，时间复杂度以维度n为单位缩放立方体，并且由于计算平滑的周期图，时间复杂度与T呈线性关系。当n较大时，方程（39）中的积分计算成本非常高，贝叶斯求积[21]可以证明比传统求积技术更有效，因为它通常会导致更少的函数计算。类似地，内存需求与n成二次比例，与T成线性比例。总的来说，这种方法不能像现在这样扩展到非常大的n。在第3.5节中，我们提出了增量差异的近似值，该非参数方法可以扩展到非常大的n.3.4.3。最大熵估计我们的最后一种估计方法是基于E.T.Jaynes在[22，23]中首创的最大熵原理。最大熵原理指出，当面临一个估计问题时，在所有与经验证据一致的模型中，人们应该总是选择一个对任何事情都最不确定/最不了解的模型，而不是已经观察到的模型。给定向量值离散随机过程{zzzT}的样本路径（^zzz，…，^zzzT），样本自协方差函数定义为^C（h）=TPTt=1+h（^zzzt-(R)zzz）（^zzzt-h类-(R)zzz）T，如果h≥ 0^C(-h） T，如果h<0且'zzz=TPTt=1^zzzt}，则为{zzzt}的自方差提供了可靠的经验证据，因为它是其一致且渐近无偏的估计量[24]。

至于测量其他事物的“不确定性/无知”，熵率恰好是用于此目的的标准度量。Burg的最大熵定理【6，25】，如下所示，为自方差约束下离散时间平稳过程的最大熵优化问题提供了答案。定理3.4。设{zzzt}为平稳的Rn值离散时间随机过程。在所有（矩阵值）自方差函数与{zzzt}从滞后h=0到滞后h=p的自方差函数一致的平稳过程中，p阶平均零高斯向量自回归过程（VAR（p））的熵率最高，我们得到h（{zzzt}）=nlog（2πe）+logdet（∑p）det（∑p-1),其中，∑pis是块矩阵，∑p[i，j]：=Cov（zzzt+i，zzzt+j）（41）：=C（i- j） ，带有0≤ i、 j≤ p、 因此，估计微分熵率的最大熵方法包括首先计算相应的样本自协方差函数，然后选择最大滞后作为p，我们可以在有限样本量T下可靠地估计自协方差项。这在算法3中进行了汇总。具体而言，按照[26]的标准方法，我们使用p=T.备注3.7。定理3.4相当深刻。它指出，在假设为一般的自协方差项的情况下，建模随机过程最有原则的方法是遵循非常简单且研究充分的扩散模型，该模型的熵率是封闭形式的。然而，需要注意的一点是，在其他约束条件下，例如更高的样本矩（例如。

负偏度或过度峰度），平均零高斯VAR（p）不再是最大熵最优的，因为高斯过程的高阶矩完全由其前两阶矩决定，因此高斯VAR（p）没有足够的自由度来独立处理二阶和高阶约束。3.5. 扩大增量多元化估计3.5.1。可伸缩性问题的来源如前所述，我们提出的所有三种方法都是用来估计Rn值平稳遍历过程的差异熵率，但其尺度与维数n的关系很差。这并不奇怪，因为反映过程中每单位时间的信息总量的h（{zzzt}）应该考虑到可能的冗余交叉坐标，因此，somehow应该跟踪{zzzt}的每个坐标过程与所有其他坐标过程的关系。这通常是通过n×n矩阵来完成的，我们需要计算其中的行列式或逆矩阵，以便了解坐标过程如何偏离i.i.d.情况。这导致了立方时间复杂度和平方内存需求，这对于大n来说是切实可行的。在非参数情况下，n×n矩阵是任何频率下谱密度函数的值，在最大熵情况下，n×n矩阵是协方差矩阵Cov（zzzt，zzzt），需要评估∑pand的左上角，而不考虑最大熵自方差约束p的数量。无模型方法不能直接解决此问题，因为离散化步骤有效地将多变量问题转化为非单变量问题，代价是增加所产生的离散化过程的离散熵率。

然而，在最佳情况下，这种熵增加对计算固定估计精度的资源需求的影响实际上比非参数和最大熵方法的局限性更严重。为了了解原因，让我们进行一次后包络计算，以估计在最佳情况下，需要多少样本才能可靠地估计平稳随机过程的离散熵率，该过程在一个有限概率中取值。让我们表示基本真值离散熵率。理想情况下，字母表中的每个字符应该至少出现在我们的示例中一次。当样本均匀地从字母表中抽取，并且在时间上独立时，最小样本量就会出现这种情况。在这种情况下，如果我们将α表示为字母表中任何符号出现的概率，那么α=2-H、 我们需要看到的所有字符的最小样本量是T=α=2H。换言之，正如阿鲁尔的经验，有希望合理估计平稳过程的离散熵率所需的样本数与真实熵率呈指数增长。在无模型方法中，如果坐标过程恰好是独立的或松散相关的，则离散化过程的熵率将随维数n线性增长，因此，保持估计精度恒定所需的样本数将随n呈指数增长。这比最大熵和非参数方法更糟糕，因为无模型方法的时间复杂度在样本大小上是线性的，为获得固定的估计精度，它随资产数呈指数增长。缺乏可伸缩性的根本原因是缺乏一个结构化模型来表达{zzzt}的协调过程如何相互关联。例如，可以通过降维技术（例如。

PCA和内核PCA【14】、GP-LVM【15】、自动编码器【16、17】、manifoldlearning【18、19、20】等）。我们不遵循这个想法，因为它对所使用的维度还原技术非常敏感，并且大多数都有自己的可伸缩性问题。我们选择放松这一隐含要求，即我们应该了解每项资产与所有其他资产的关系。3.5.2. Order-q增量Diversitionlet 0≤ q≤ n和ππqbe{1，…，n}划分为大小为k的子集，其中k=q，对于分区中除atmost 1元素以外的所有元素。设{yt}是与Rn值过程{xxxt}联合遍历平稳的重值离散时间过程。根据互信息的标准结果，对于分区的每个元素πππiqi{yt}；{xxxt}）≥ I（{yt}）；xxxt公司ππiq,哪里xxxt公司ππiq是向量值过程，其中协调过程是{xxxt}的过程，其指数为πππiq。因此，表示∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏∏≥ Iq（{yt}；{xxxt}），（42），其中Iq（{yt}；{xxxt}）=最大ππq∈∏∏∏qmaxπ∏iq∈πππ气{yt}；{xxxtππiq}.当{yt}表示新资产的收益时间序列，而{xxxt}表示参考池中资产的收益时间序列时，1/Iq（{yt}；{xxxt}）反映了新资产添加到参考池中q资产的任何子集的增量差异最小。定义3.3。我们表示order-q增量多元化新资产a添加到参考池P中，增量多元化a添加到P的大小q的子集中的最小数量，即IDQ（a；P）：=minPq∈PqID（A；Pq），（43），其中Pq是大小为q的P的所有子集的集合。根据等式（42），正如我们预期的那样，如果新资产未向referencepool中q资产的任何子集添加增量差异，则不会向参考池添加增量差异。

此外，很容易看出iq（{yt}；{xxxt}）是q的递增函数，在（{yt}；{xxxt}）=I（{yt}；{xxxt}）。对于q<n，差值（{yt}；{xxxt}）- Iq（{yt}；{xxxt}）反映了只能通过一次考虑超过q个资产从ReferenceTool获得的有关新资产的信息量。作为增量多元化的衡量标准，IDq（a；P）满足了在帕西性约束下的程式化事实1和2，即最佳复制投资组合的非零配置不超过q。IDq（A；P）也满足了程式化事实3，前提是新资产的回报不取决于参考池中超过q资产的当前和过去回报。至于风格化4，它总是由IDq（A；P）来表示，因为根据等式（42）的不等式，如果ID（A；P）允许经理多元化，那么任何q的IDq（A；P）也是如此。IDq（A；P）也很容易满足风格化事实5。我们记得，我们用来确定一项资产是否会向参考池中增加增量多元化的指导原则是，如果使用参考池中的资产和要素很容易复制新资产的回报，那么就不需要新资产。然而，在实践中，如果复制新资产所需的资产数量非常大，那么认为新资产在某种程度上有用并不牵强。事实上，试图用大量现有资产复制新资产可能会导致过高的运营成本（例如交易成本、卖空借款、跟踪定位错误导致的下滑等）。

从这个意义上说，虽然我们引入了有序q增量多元化来扩大推断，但q可以被视为一个稀疏因子，选择它来反映投资经理认为实际使用的最大数量的资产，以复制具有他/她已经拥有的资产和因素的候选新资产，作为直接交易新资产的替代方案。可伸缩性：估计最大ππiq∈πππ气{yt}；xxxt公司ππiq使用无模型方法、非参数方法或最大熵方法均与资产数量呈线性关系。我们没有将{1，…，n}的所有可能分区的最大值取到sizeq的子集中（这很难处理），而是选择随机抽样较少数量的分区，并在抽样的分区中取最大值。一旦对分区进行了采样，就可以计算I{yt}；xxxt公司ππiq可以并行执行，并且可以使用map reduce高效地计算double-max。算法4.3.6对此进行了总结。对新资产池的扩展我们量化增量多元化的方法可以扩展到量化多元化的数量——新资产的总体AAA=（a，…，Ap），对于这些新资产，没有任何资产是由其他资产完全决定的，共同添加到参考资产池中。如果我们表示{yyyy}：={（yt，…，ypt）}，p>1新宇宙AAA中资产回报的向量值时间序列，以及{xxxt}现有资产参考工具的回报和因子值的时间序列，那么新宇宙资产增加到现有oneisID（AAA；p）的差异量：=I（{yyyyy}；{xxxt}）（44）=h（{yyyyyy}）+h（{xxxt}）- h（{xxxt，yyyyy}），可以使用以前建立的结果计算。3.7.

说明在本节中，我们以实证的方式说明了增量多元化衡量指标的相关性，以及之前讨论的估计方法。我们首先对无模型、非参数和最大熵方法进行了比较分析。然后，我们实证说明，我们选择的有限样本估计方法，即最大熵估计，与所有5个典型事实一致。最后，我们将我们的增量多元化衡量方法应用于实际财务数据，首先比较两两增量多元化和两两相关性，然后调查跨资产类别的信息聚类。3.7.1. 模型比较我们首先从实值时间序列开始，比较我们为估计合成数据的不同熵率而提出的三种方法。n=1n=1n=1，不同的TTT：为了评估我们的三种方法在记忆性和轻感性存在的情况下的表现，我们考虑了一个带有Student-t噪声的AR（1）时间序列，命名为yt=yt-1+ξt，（45），其中ξ是标准偏差为1的Student-t白噪声，自由度ν。我们从合成模型中生成了两条大小为2000的样本路径，其中一条路径选择ν，以使创新项具有有限的峰度（ν=4），另一条路径的创新项几乎是高斯的（ν=100）。在每次模拟中，我们使用之前在第一次T观察中描述的100的无模型、非参数和最大熵方法估计基本过程的熵率≤ T≤ 2000年，我们在图（2a）和（2b）中将相对误差绘制为T的函数。对于非参数估计，我们使用Welch方法[27]获得了谱密度的估计，该方法具有汉宁窗，窗大小等于100，重叠50%。

对于无模型方法，我们将m设置为2-misequal为样品标准偏差的1/5。至于基本事实，我们记得，任何自回归过程的微分熵率都是其创新项的微分熵率h（{ξt}），并且通过创新过程的时间独立性，它也等于任何观测值h（ξt）的微分熵率，这对于学生-t分布是可用的闭合形式。总的来说，可以看出这三种方法都是一致的。正如预期的那样，最大熵和非参数方法（它们是唯一假设高斯性的方法）都收敛到高斯AR（1）过程的熵率，该过程具有与我们的Student-t AR（1）过程相同的平均值和自方差函数。有趣的是，即使我们的合成模型的剩余峰度不确定，最接近的高斯（1）模型的熵率也只高出6%。换句话说，我们在最大熵估计中通过丢弃四阶矩所产生的误差不超过6%（在这一系列示例中），这是在有限四阶矩的极端情况下达到的。这两种高斯方法具有几乎相同的性能，但最大熵方法的实现比非参数方法简单得多，而且也是最快的，尽管两者都具有线性时间复杂度。另一方面，无模型方法总是收敛于地面真值，即使多余峰度是有限的。事实上，对于给定的样本大小T，当多余峰度较大时，无模型方法会更快收敛，这是可以理解的，因为这对应于较低的入口速度；通常，熵率越高，无模型方法平均需要的样本越多，以达到相同的估计精度。

当T<500时，一个好的经验法则是避免单变量时间序列的无模型方法。总之，它比最大熵法更灵活，定义为估计熵率减去真实熵率除以真实熵率的绝对值，并以百分比表示。提示：h（{yt}）=h（yt | yt-1, . . . ) =h（yt | yt-1.年初至今-p） =E（h（yt |）（yt-1.年初至今-p） =*)在单变量情况下，就估计差异熵率而言，非参数方法不会增加太多。至于在单变量情况下，人们应该选择无模型方法还是最大熵方法，当数据稀缺时，人们应该始终选择最大熵方法，但当数据丰富时，人们应该选择无模型方法。事实上，这种观点可以推广到许多估计问题上——当数据质量很好时，我们应该始终谦逊地假设什么是世界的“真实”模型，而让数据说话。然而，当缺乏高质量的数据时，必须将精心起草的先验结构作为推理的一部分。变化nnn，固定TTT：接下来，我们考虑实证研究我们的三种方法的准确性，以估算具有n维的Rn值离散时间平稳遍历过程尺度的差异熵率。为此，我们生成了一个Rn值过程{zzzt}的T=2000个样本，其坐标过程是独立的，并且每个都遵循方程（45）的Student-T AR（1）微分，对于不同的n。对于每个n，我们使用无模型方法、非参数方法和最大熵方法估计相应样本的微分熵率。

结果如图（3a）、（3b）和（3c）所示。从图（3a）和（3b）中可以看出，无模型方法的数据效率非常高，对于样本量T，不应超过n=3≤ 这与我们之前的后包络分析一致，后包络分析建议样本量应随n呈指数增长，以在无模型方法中保持固定的估计精度。为了便于分析无模型方法的性能，我们还在图（3a）中绘制了使用作为估计器logT的性能- mn，这是当离散样本中的所有特征都不同时，我们期望无模型估计器（方程（76））退化为的值，这将发生在样本大小T对于维数n和/或精度m不够大的情况下。从图（3a）可以看出，无模型方法的行为确实受gt的误差控制- mn进一步证实了样本大小T=2000，但在n=3之外，mn是不足的，至少当选择m时，离散化精度-mis等于最小样本stan（a）ν=4（b）ν=100的1/5。图2：估计AR（1）过程的熵率，其中Student-t噪声具有ν自由度，选择标度参数以使创新过程为单位标准偏差，对于样本大小t。对于估计值^h，地面真实度，相对误差定义为100* （^h- h） /| h |。精确（高斯）对应于使用具有相同系数和单位新息标准差的高斯AR（1）的熵率作为估计值^h。对于非参数估计，我们使用Welch方法[27]获得了谱密度的估计，该方法具有汉宁窗、窗大小等于T/20、重叠50%。

对于无模型方法，我们将m设置为2-mis等于样品标准偏差的1/5。（a） 所有3种进近（b）均放大（n≤ 5） （c）高斯方法图3：坐标过程独立的Rn值随机过程的熵率估计，每个过程遵循AR（1）过程，其中Student-t噪声的ν=4个自由度，选择尺度参数，使创新过程为单位标准偏差。样本量为T=2000。对于估计值^h，地面真值h，相对误差定义为100* （^h- h） /| h |。精确（高斯）对应于使用具有相同协方差函数的平均零高斯过程的熵率作为估计值^h。对于非参数估计，我们使用Welch方法[27]获得了光谱密度的估计，该方法具有汉宁窗，窗大小等于100，重叠50%。对于无模型方法，我们将m设置为2-mis等于协调过程中最小样本标准偏差的1/5。跨坐标过程的标准偏差。然而，答案并不是要降低离散化精度，因为当2-misvery small（见推论3.2，方程式（31））。对于非参数和最大熵方法，它们的精度随维数n（大致）线性下降。然而，与一维情况不同，在多维情况下，最大熵方法比非参数情况下的数据效率要高得多，并且两者之间的差异随维数n而增大。

此外，考虑到非参数方法比最大熵方法更复杂，并且对窗口和窗口大小的选择更敏感，最大熵应始终优先于非参数方法，并且在多变量情况下也应始终优先于无模型方法。因此，在接下来的实验中，除非另有说明，否则我们总是使用最大熵方法来估计不同的熵率。关于图（3c）另一个值得注意的重要点是，它让我们了解了使用最大熵方法作为n的函数所产生的相对误差的大小顺序，以及因此，对于T=2000（相当于大约8年的每日数据），我们可以承受的n的大小，同时将估计误差保持在合理的范围内。该启发式可反过来用于指导IDq的排序器q的选择。我们发现，在T=2000的情况下，我们可以选择最大为30的q，同时将相对估计误差保持在5%以下。3.7.2. 风格化事实的一致性我们之前已经表明，ID满足所有5个风格化事实。在本节中，我们旨在说明有限样本最大熵估计量也能满足所有5个典型事实。为此，我们生成了一组综合返回时间序列，这些时间序列同时表现出横截面依赖性和时间依赖性。首先，我们构建了回报的“创新”部分作为一个因子模型。更具体地说，我们生成一个N×r形状的随机正交矩阵U，N=50，r=25。Wede finex=U Z+σee，其中Z（resp.E）是一个标准的高斯矩阵，其形状（r，T）（resp.（N，T））为T=2000。因此，X列是i.i.d。

高斯均值图4：第3.7.2.0节所述玩具实验中增量多元化的最大熵估计与最佳复制组合的相关性以及协方差矩阵xc=UUT+σeI之间的关系说明。我们选择这种结构来模拟低秩协方差矩阵，同时避免了由于病态导致的OLS跟踪误差估计中的数值不稳定性。本着这种精神，我们选择σesoc具有行列式10-我们以AR（1）的方式从创新中引入时间依赖性，以获得综合收益时间序列。具体而言，我们定义了（N，T）矩阵Y，其第一列与X的第一列相同，即Y[0]=X[0]，所有其他列定义为followsY[i]=Y[i- 1] +X[一]。（46）Y的每一行都扮演着不同资产的即时收益序列的大小T路径的角色。程式化事实1和2：我们依次循环遍历行，对于行n，我们计算增量差异和对应资产到第一个n定义的参考池-1资产收益率，以及资产收益率与上述参考池中最佳复制资产组合收益率之间的相关性。结果如图（4）所示，从图中我们注意到，增量多样性往往会随着复制相关性而减少，这与程式化事实1和2相符。程式化事实3：为了评估与程式化事实3的一致性，我们考虑一种简单的动量策略，用于按Y行定义的资产。对于窗口图5：增量差异的最大熵估计资产合成参考工具上的动量策略添加到参考池中。参考池中资产收益的generativemodel见第3.7.2节。

动量策略包括在过去的某个特定窗口大小内按比例投资于资产绩效。规模为m时，动量策略包括在过去m个时间段内按比例投资工具中每项资产的回报。这种动量策略的回报可以写成Y所定义资产当前和过去m回报的固定函数。我们之前已经证明，如果可以准确计算ID，则此类资产不会增加ReferenceTool的多样性。然而，当使用有限样本估计ID时，增量差异不一定为0，但相当小，如图（5）所示。程式化事实4：为了说明我们的方法允许经理多元化，我们考虑了回报率为Y的资产范围（方程式（46）），我们考虑了40名经理只长期交易这些资产，不使用杠杆。分配过程在管理者之间是独立的。在每个时间段，每个经理都会根据Dirichlet分布的独立抽奖重新平衡其投资组合，Dirichlet分布的集中度参数因经理而异，但随时间的推移是相同的。我们通过绘制浓度参数的坐标i来随机生成浓度参数。i、 d.根据[0，α]上的均匀分布，对于可配置的管理器特定参数α。α直接影响单个资产权重的方差，进而影响管理者的营业额。如果我们的α太高，那么权重从一个时间段到下一个时间段不会变化太大，我们预计相应的基金不会向参考池中增加多元化，因为其回报率将是参考池回报率的线性组合（程式化事实2），更重要的是，我们还预计基金经理不会彼此过度多元化。

应首选较小的α来测试与程式化事实4（ManagerDiversion）的一致性。我们一次只考虑一位经理，对于每位经理，我们估计他/她的基金会增加之前考虑的所有经理的基金的增量多元化。首先，我们使用asα表示第i个管理器+5（i-1). 如图（6a）所示，交易相同资产的管理者可以相互提供增量多元化。然后是我们增加经理的顺序，考虑经理的α递减顺序（或等效地，营业额递增顺序），如图（6b）所示。总的来说，可以看出，尽管之前添加到参考池中的经理人数往往会减少新经理增加的增量多元化，但新经理的活跃程度（或相当于他的营业额）是一个显著更大的因素。程式化事实5：最后，为了证明我们的增量差异的有限样本估计量通过重新缩放是不变的，我们构造了一个N×T矩阵Y，其每一行都是通过将Yb的对应行乘以从标准法线中提取的随机标量来获得的。我们同时循环Y行和Y行，并绘制Y行与第一n行相加的增量差异-1行Y，相对于从Yadds到Firstn的增量转移行n- 1行Y。这如图（7）所示，从图中可以看出，我们的增量多样性的有限样本估计量在正负尺度下都是不变性的。3.7.3.

两两相关性和两两增量多元化之间的关系考虑到从业者和学术界都广泛且过度地使用相关性作为资产之间依赖性的标准衡量标准，警惕的读者一定想知道，在两种资产的情况下，我们如何衡量增量多元化，即两两互信息时标，与成对相关相关。我们的目标是从经验上解决这个问题。对于当时标准普尔100指数中的每一对资产，（a）按营业额递增顺序添加的经理（b）按营业额递减顺序添加的经理图6：在综合实验中交易相同资产范围的基金经理相互添加增量多元化的最大熵估计。管理器id表示将相应的管理器添加到引用池的顺序。

增量多元化是相对于之前增加的基金经理池进行计算的。第3.7.2节介绍了基金经理交易的资产收益生成模型以及经理资产配置的生成模型。图7：在有无随机rescalingall返回时间序列的情况下，将一项资产添加到n项资产的参考池中的增量差异的最大熵估计值进行比较。在撰写本文时，我们计算了它们的每日回报率与一种资产增加到另一种资产的增量多元化之间的相关性。结果如图（8a）所示，从图中可以看出，总体而言，增量多元化倾向于随着预期的成对相关性而减少。一个有趣的观察结果证明了使用相关性量化依赖关系的局限性，请参见表3中的完整公司列表。更具体地说，成对互信息时间尺度随着成对相关性的绝对值而减小，但在本实验中，大多数成对相关性都是非负的。图（8a）中红点云的宽度随着成对相关而减小。这具有直观的意义。两种资产之间的强成对相关性强烈表明（线性）依赖性，因此也强烈表明一种资产很难使另一种资产多样化。另一方面，弱的成对相关性强烈表明，同一时间段对应的回报之间缺乏线性相关性，这并不意味着两项资产的回报在不同时间之间缺乏相关性。然而，当资产回报率都是高斯和无记忆时，拉科夫线性相关性的强烈迹象确实意味着这两种资产之间缺乏任何类型的相关性。

事实上，如果资产A和资产B的返回时间序列是联合平稳的高斯和无记忆的，则可以表明在增量差异和相关性之间存在一对一的映射，具体ID（A；B）=ID（B；A）=-2日志（1- Corr（A，B））；这是图（8a）中所示的蓝色曲线，我们将其称为相关边界。因此，图（8a）中的红点云偏离相关性边界的强烈证据表明，无记忆高斯假设不适用于标准普尔100指数的构成要素，或者，等效地，强烈表明标准普尔100指数中资产的回报率表现出非线性和/或时间（如超前-滞后）关系，因此，两两相关不足以衡量实际中资产回报之间的依赖关系，因为与互信息时间尺度不同，它无法捕捉时间或非线性依赖关系。注意到几乎所有的点都低于相关边界，因此，使用成对相关性作为资产之间依赖性的衡量标准往往会高估多元化的潜力，或者低估资产之间的相似性。在高斯无记忆假设下，通过首先估计成对增量差异，然后推断出与估计增量差异一致的未调整相关值，可以很容易地调整相关性，以说明时间和非线性依赖关系。我们参考得到的数量，ACorr（A，B）=符号（Corr（A，B））q1- 2.-2ID（A；B），作为信息调整相关系数。从图（8b）可以看出，更多情况下，考虑时间和非线性相关性会增加相关性。

未经调整的相关性越低，未经调整和信息调整的相关系数之间的差异越大；差异可高达0.2。两两增量差异和两两相关性之间另一个有趣的区别是，前者对较小的两两相关性（即重要时）比后者敏感得多，而对较大的两两相关性（即信息冗余明显时）则不太敏感。3.7.4. 资产类别信息集群一个普遍的看法是，资产类别多元化比资产类别多元化带来的好处要多得多；直觉是，同一类别内的资产比不同类别的资产共享更多的经济驱动力。在上一次增量多元化实验中，我们考虑量化资产类别多元化的效益。具体而言，使用我们的增量变动衡量标准，我们考虑从经验上评估，与在同一资产类别中选择新资产相比，通过从不同资产类别中选择要添加的新资产（添加到由属于同一资产类别的资产组成的参考池），可以获得多大的差异。我们考虑了三种资产类别的三个资产池，分别是道琼斯工业平均指数（Dow Jones Industrial Average for Equities）的组成部分、全球外汇交易最多的18种货币以及交易最活跃的20种美国期货合约。对于每个参考工具，我们计算池中资产添加到池其余部分的平均增量多元化，以及另一个池中资产添加到当前考虑的工具的平均增量多元化。

结果如图（9）所示，从图中可以看出，跨资产类别多元化通常至少能提供与资产类别多元化相同的收益。然而，图（9）描绘了一个更细粒度的故事，这是用传统工具很难获得的。因此，我们注意到，平均而言，美国期货为我们的参考货币池增加的增量差异几乎与该池中的一种货币平均为其他货币池增加的增量差异一样多。换言之，我们发现，使用美国期货作为全球货币多元化的手段，可能不会比考虑交易更多的货币更有影响力。有趣的是，相反的说法并不成立。平均而言，考虑美国期货多样化的投资经理考虑增加一种外汇比考虑另一种美国期货要好得多。我们发现，前者将产生0.96天/位的平均增量分流，而后者将产生1.4天/位的增量分流。这可以作为经验证据，证明全球货币已经影响了美国未来的风险因素，但也受到与美国期货无关的其他风险因素的驱动，并为期货提供了跨资产类别的多元化机会。我们强调，我们无法通过使用平均成对相关性来衡量一种资产类别可以为另一种资产类别带来多大的差异来得出这一结论，正如从业者通常所做的那样；如果我们这样做的话，图（9）的矩阵将是对称的，我们会隐含地假设，无论经验征税如何，货币只能像美国那样使美国未来多样化。

期货可以使货币多样化。另一方面，我们量化增量多元化的方法足够灵活，可以从数据中发现跨资产类别多元化是不对称的！我们从图（9）中可以得出的另一个有趣的观察结果是，外币提供了最大的跨资产类别多元化收益。最大的平均增量多元化（1.4天/位）是通过使用全球货币（a）成对增量多元化和成对相关性之间的关系获得的。（b） 信息调整的成对相关和成对相关之间的关系。图8：撰写本文时标普100指数成分股日收益率之间存在时间和非线性关系的证据。无记忆高斯情况假设两个资产具有共同的高斯和无记忆返回时间序列。在这种情况下，表示ρ两项资产之间的相关性，一项资产增加到另一项资产的增量差异i可证明等于i=-2日志（1-ρ). 信息调整后的相关性定义为相关值^ρ，该值与未调整相关性ρ具有相同的符号，并且在高斯无记忆假设下，将产生与数据估计值相同的增量变化^i：^ρ=符号（ρ）p1- 2.-（二）。cies使美国期货多样化，或利用美国蓝筹股使全球货币多样化。4、量化收益时间序列的可预测性如果在时间t存在一组可用信息，从而减少时间t+p，p>0的未来值的不确定性，则收益时间序列{yt}可以被认为是可预测的。