，K}（2）继（Kakushadze，2015c）之后，我们可以通过因子模型对样本相关矩阵ψij=Cij/σiσj（此处σi=Ciiare样本方差）进行建模：eψij=ξiδij+KXA，B=1OhmiAΦABOhmjB=ξiδij+UiUjΦG（i），G（j）（3）OhmiA=UiδG（i），A（4）ξi=1- λ（G（i））Ui（5）ΦAB=Xi∈J（A）Xj∈J（B）UiψijUj（6）这里是Ui的n组分for i∈ J（A）由N（A）×N（A）矩阵[ψ（A）]ij=ψij，i，J的第一个主成分给出∈ J（A），其中J（A）={i | G（i）=A}是与A标记的簇相对应的指数i的值集，NA=| J（A）|是此类i的数目。此外，λ（A）是矩阵[ψ（A）]ij的最大特征值（对应于第一个主分量）。矩阵OhmIa是因子载荷矩阵，ξiis是特定方差，因子协方差矩阵ΦAb具有ΦAA=λ（A）的性质。通过构造，eψii=1，矩阵ψij为正定义。然而，ΦAbi是单数的，除非K≤ T- 1、这是因为ψijis的秩（最多）T- 设V（a）ibe是ψij的主分量，对应的特征值λ（a）按递减顺序排列（a=1，…，N）。更准确地说，最多T-1特征值λ（a），a=1，T-1为非零，其他为零。我们有ΦAB=T-1Xa=1λ（a）eU（a）AeU（a）B（7）eU（a）a=Xi∈J（A）UiV（A）i（8）So，ΦABis的秩（最多）T-上述不完全杂种优势构建为基于主成分的统计风险模型构建提供了一种特殊的正则化。在完整的杂种结构中，ΦABitselfis通过另一个因子模型建模，这种嵌套的“俄罗斯玩偶”嵌入一直持续到最后一步，因子协方差矩阵（每一步都变小）是非奇异的（并且在样本外非常稳定）。2.1通过聚类进行抽样然而，还有另一种方法，我们在这里称之为“机器学习风险模型”。假设我们有M个不同的集群。

Leteψ（m）ijbe第m个聚类（m=1，…，m）的模型相关矩阵（3）。然后，我们可以将模型相关矩阵构造为加权sumeψij=MXm=1wmeψ（m）ij（9）MXm=1wm=1（10）。权重的最简单选择是具有相等的权重：wm=1/m。更一般而言，只要权重wm为正，模型相关矩阵ψij为正定义。（同样，通过构造ψii=1。）然而，组合大量“采样”eψ（M）ij可以实现其他一些功能：每个“采样”都提供了样本相关矩阵的特定正则化，并且组合这些采样比每个单独的“采样”在风险空间中覆盖更多的方向。这是因为Eeu（a）Ain公式（7）对于不同的聚类是不同的。2.2 K-means我们可以使用K-means（Forgy，1965），（Lloyd，1957），（Lloyd，1982），（Hartigan，1975），（Hartigan and Wong，1979），（MacQueen，1967），（Steinhaus，1957）进行聚类。由于k-means是不确定的，它会在每次运行时自动生成不同的“采样”。k-means背后的思想是将N个观测值划分为k个簇，这样每个观测值都属于具有最近平均值的簇。N个观测值中的每一个实际上都是一个d向量，因此我们有一个N×d矩阵Xis，i=1，N、 s=1，d、 设K簇，Ca={i | i∈ Ca}，a=1，K、 然后K-均值尝试最小化eg=KXa=1Xi∈CadXs=1（Xis- Yas）（11）其中Yas=纳西族∈CaXis（12）是簇中心（即横截面平均数），na=| Ca |是簇Ca中的元素数。在等式（11）中，选择“贴近度”的度量来表示Rd中各点之间的欧几里德距离，尽管可能有其他度量。在本文中，“横截面”指的是“超过指数i”。E、 g.，曼哈顿距离，余弦相似性等。2.3聚类什么？在这里，我们不打算重新发明轮子。

我们将简单地使用处方（Kakushadze和Yu，2016b）。基本上，我们可以对收益进行聚类，即takeXis=Ris（然后d=T）。然而，股票波动率是高度可变的，其横截面分布甚至不是准正态分布，而是高度偏斜的，在高端有一个长尾巴——这大致是对数正态分布。聚类收益没有考虑到这种偏斜，无意中，我们可能会将完全由于偏斜波动率因素而没有高度相关性的收益聚类在一起。一个简单的“机器学习”解决方案是将归一化的returnseRis=Ris/σi进行聚类，其中σi=Var（Ris）是序列方差（σi=Cii）。然而，正如（Kakushadze和Yu，2016b）中详细讨论的那样，这种选择也是次优的，这也是定量交易经验和直觉胜过通用机器学习“知识”的地方。clusterbRis=Ris/σi更为理想（详情请参见（Kakushadze and Yu，2016b））。一个潜在的实际问题是，如果一些股票的波动性很低，我们可能会对这些股票有很大的兴趣。为了避免计算中的任何潜在问题，我们可以通过排序的“Winsorization”（MAD=平均绝对偏差）：bRis=Risσiui（13）ui=σiv（14）v=exp（中位数（ln（σi））- 3 MAD（ln（σi）））（15），对于所有ui<1的情况，我们将ui设置为1。这是源代码内部使用的RIS的定义。此外，上述中值（·）和MAD（·）是横截面的。2.4调整簇数K是一个超参数。原则上，可以通过采用（Kakushadze和Yu，2016b）中讨论的方法来解决。然而，在本文的上下文中，我们将简单地将其保留为超参数，并测试其各种值的结果。随着K的增加，在某些情况下，可以在模型相关矩阵ψij中获得相对较小的特征值，或几乎退化的特征值。

这可能会导致有界优化中的收敛问题（请参见下文）。为了避免这种情况，我们可以对K值的ψij稍微变形。这里有一个简单的方法，可以同时处理上述两个问题。为了理解这种方法，可以查看图1、2、3、4中给出的特征值图，这些特征值图基于N=2000只股票和T=21个交易日的每日收益率的典型数据集。这些图绘制了单个“采样”eψ（m）ij的特征值，以及基于K=150和K=40（K是簇数）的平均m=100“采样”（权重相等）的aseψij。不出所料，这是一个可能的调整。其他的产生类似的结果。一些小的特征值。然而，它们的比例很小。此外，K值越大，这些小特征值越小，但当对多次“采样”进行平均时，这些小特征值会增加，这也会平滑特征值图结构。我们想要做的是通过调整尾部的小特征值来变形矩阵ψij。我们需要明确“尾巴”的含义，即，它包含哪些特征值。有很多方法可以做到这一点，有些更简单，有些更复杂。我们使用基于eRank或有效秩（Roy和Vetterli，2007）的方法，该方法可以更一般地定义为amatrix特征值的任何子集，就我们的目的而言，该特征值被假定为对称和半正定义。LeteRank（S）=exp（H）（16）H=-LXa=1paln（pa）（17）pa=λ（a）PLb=1λ（b）（18），其中λ（a）是子集S中的L个正特征值，H具有（香农a.k.a.谱）熵的含义（Campbell，1960），（Yang et al，2005）。如果我们将S作为eψij的N个特征值的完整集合，那么秩（S）的含义是它是矩阵ψij的有效维数的度量。然而，这不是我们在这里需要做的事情。

这是因为Eψij的较大特征值对eRank（S）的贡献很大。因此，我们定义S包括不超过1的ψij的所有特征值λ（a）（a=1，…，N）：S={eλ（a）| eλ（a）≤ 1}.然后，我们确定（这里的FLOOR（·）=b·c可以用圆形（·））n代替*= |S |- FLOOR（eRank（S））（19）因此，现在将尾部定义为*n中的*ψij的最小特征值seλ（a）。我们现在可以通过（i）替换n来变形ψij*S中的尾部特征值*再见λ*=最大值（S*), （ii）然后纠正这样变形的矩阵不再是单位对角线的事实。得到的矩阵bψij由以下公式得出：bψij=N-n*Xa=1eλ（a）eV（a）ieV（a）j+zizjNXa=N-n*+1eλ*eV（a）ieV（a）j（20）zi=y-2iNXa=N-n*+1eλ（a）[eV（a）i]（21）yi=NXa=N-n*+1eλ*[eV（a）i]（22）其中eV（a）i是eψij的主成分。这种方法类似于Rebonato和J¨ackel，1999）。关键区别在于（Rebonato和J¨ackel，1999）中的“调整”Zi适用于所有主成分，而这里的“调整”Zi仅适用于尾部主成分（特征值变形）。这将导致原始矩阵的失真更小。结果变形矩阵xBψij改善了尾部行为（见图5）。另一个好处是，虽然我们只对尾部进行了极大的修改，但对于a的所有值，变形矩阵ψij的特征向量不再是v（a），并且尾部以外的特征值也发生了变形。特别是，在某些情况下，在eλ（a）的密集区域（其中它们的阶数为1）中可能存在一些（通常为少数）几乎退化的特征值λ（a），即尾部外侧和向上倾斜的高端“颈部”。变形会分裂出这种几乎退化的特征值，这是一个受欢迎的额外收获。

事实上，几乎退化特征值的问题在于，它们会对有界优化的收敛产生不利影响（见下文），因为风险空间中的相应方向具有几乎相同的风险特性。3回溯测试我们讨论了一些回溯测试。我们希望了解我们的机器学习风险模型与其他结构的比较（见下文）。对于这种比较，我们完全按照（Kakushadze，2015c）中的方法进行回溯测试，但模型协方差矩阵的构建如上所述（与（Kakushadze，2015c）的完全杂种优势风险模型构建相反）。为了便于比较，我们在本回溯测试中使用的历史数据与（Kakushadze，2015c）中的数据相同，并在第6.2和6.3小节中进行了详细描述。交易范围选择在第6.2节（Kakushadze，2015c）中描述。我们假设i）投资组合是在公开市场上建立的，以公开价格出售；ii）在当天收盘时进行清算（因此这是一种纯粹的盘中策略），以收盘价进行融资（有关详细信息，请参见（Kakushadze，2015a））。我们包括严格的交易界限|嗨|≤ 0.01 Ai（23）这里是投资组合股票持有量（i=1，…，N），并且是根据第6.2of小节（Kakushadze，2015c）计算的相应历史平均每日美元交易量。我们进一步对投资组合实行严格的美元中性，因此Nxi=1Hi=0（24）。我们的后验测试中的总投资水平为I=2000万美元（即1000万美元长，1000万美元短），与中的相同（Kakushadze，2015c）。对于带边界的夏普比优化，我们使用R函数bopt。calc.opt（）在（Kakushadze）的附录C中，即使在机器精度范围内，它们也不会退化。但是，它们的间距比其他特征值（即平均值）更近。（Kakushadze和Yu，2016b），（Kakushadze和Yu，2017a）中也使用了相同的数据。2015年c）。

表1总结了K的各种值的特征值。考虑到算法是不确定性的，结果对于重新运行是稳定的。表2总结了回溯测试结果。在这里，我们想知道以下内容是否会带来改进。假设我们从样本相关矩阵ψij开始，运行算法，生成模型相关矩阵ψij。假设现在我们重新运行算法（使用相同数量的“采样”M），但使用ψij代替ψijin公式（6），以构建“采样”相关矩阵ψ（M）ij。事实上，我们可以一次又一次地迭代执行此操作，我们在表3中称之为乘法运算。表3中的结果表明，我们确实在第二次迭代中得到了一些改进，但并没有超过。让我们注意到，对于K≥ 100对于迭代（见表3），第2.4小节的方法不足以处理小且几乎退化的特征值问题，因此我们使用了完整的方法（Rebonto和J¨ackel，1999）（详情见第2.4小节和表3），这更扭曲了模型相关矩阵（这影响了性能）。4结论性意见因此，本文讨论的机器学习风险模型优于统计风险模型（Kakushadze和Yu，2017a）。它们的绩效与基于多层次聚类的统计行业分类的异质风险模型基本相似（Kakushadze和Yu，2016b）。然而，这里我们有单层聚类，没有像中那样的聚类聚合（Kakushadze和Yu，2016b）。此外，结果模型相关矩阵ψij不是因子模型，而（Kakushadze和Yu，2016b）的模型是因子模型。

请注意，本文的机器学习风险模型和（Kakushadzeand Yu，2016b）的模型的表现仍然低于基于基础产业分类的异质风险模型；参见（Kakushadze，2015c），（Kakushadze和Yu，2016a）。在这方面，可以说，让我们解决一些“松散的问题”。假设我们只取一个“采样”ψ（m）ij。这是一个不完整的单水平杂种优势风险模型。然而，ψ（m）ijby结构是正定义的，因此我们可以将其倒置并用于优化。那么，对大量M个“样本”（如本文的机器学习风险模型）进行平均，或实施多级“俄罗斯玩偶”嵌入（Kakushadze，2015b）如（Kakushadze和Yu，2016b）是否会增加价值？确实如此。因此，基于K=40和M=1的单一“抽样”的两次运行产生以下结果：（i）ROC=42.434%，SR=15.479，CPS=2.044；和（ii）ROC=42.735%，SR=15.51，CPS=2.054（符号见表2）。此外，如果我们不使用单个k-均值来计算ψ（m）ij，而是像（Kakushadze和Yu，2016b）中那样聚合大量P个k-均值聚类，会怎么样？这似乎没有增加价值。以下是K=30、M=100和P=100的典型运行结果：ROC=42.534%、SR=15.764、CPS=2.09。显然，也许并不奇怪的是，聚合多个聚类和平均多个“抽样”具有类似的效果。事实上，这让人安心。在本附录中，我们给出了统计计算的R（R）项目，https://www.r-project.org/)在正文中讨论的构建机器学习风险模型的源代码。代码简单明了，不言自明。

solefunction是qrm。calc.ml.cor.mat（），具有以下输入：r1是收益的N×T矩阵（N是股票数量，T是时间序列中的点数）；kis簇的数目K；nn是迭代次数（见第3节）；calc.num是“采样”的数量M；iter。num是内置的R函数kmeans（）通过qrm内部调用所使用的最大迭代次数（我们总是将其设置为100，并且在成千上万的kmeans（）调用中从未饱和）。（Kakushadze and Yu，2016b）附录A中给出的stat.ind.class（）；num.try是群集qrm的数目。stat.ind.class（）聚合内部，num.try=1（这是我们使用的值）对应一个singlek表示聚类；规则。tail是用于正则化（当设置为TRUE时）特征值尾部的布尔值，如第2.4小节所示。qrm的输出。calc.ml.cor.mat（）是相反的-1如果模型协方差矩阵Γij=σiσjeψij（或Γij=σiσjbψij，当reg.tail=TRUE时–见第2.4小节），其中σi是样本方差。与M个“采样”组合的权重在内部设置为均匀。但是，如果需要，可以对其进行修改。权重可以基于欧几里德距离或其他距离、特定方差ξi之和、平均相关性等。

在我们的模拟中，非平凡的权重并没有增加价值。qrm。calc.ml.cor.mat<-函数（r1，k，nn=1，calc.num=100，iter.max=100，num.try=1，reg.tail=F）{calc.mod.erank<-函数（x）{take<-log（x）>0n<-sum（take）x<-x[！take]p<-x/sum（x）h<-sum（p*log（p））er<-exp（h）er<-er+nreturn（er）}calc.het。cor<-函数（p，ind）{u<-rep（0，nrow（ind））for（a in 1:ncol（ind））{tt<-ind[，a]==1p1<-p[tt，tt]p1<-本征（p1）u[tt]<-p1$矢量[，1]}flm<-u*indq<-t（flm）%*%p%*%flmg<-flm%*%q%*%t（flm）诊断（g）<-1return（g）}计算cor.mat<-函数（p，r1，k，iter.max，num.try）{ww<-0gg<-0for（j in 1:calc.num）{ind<-qrm.stat.ind.class（r1，k，iter.max=iter.max，num.try=num.try，demean.ret=F）g<-calc.het。cor（p，ind）w<-1####均匀加权gg<-gg+g*www<-ww+w}gg<-gg/wwreturn（gg）}gg<-cor（t（r1），t（r1））（1:nn中的a）gg<-calc.cor.mat（gg，r1，k，iter.max，num.try）如果（reg.tail）{xx<-eigen（gg）vv<-xx$valuesuu<-xx$vectorser<-trunc（calc.mod.erank（vv））tt<-（er+1）：长度（vv）zz<-colSums（t（uu[，tt]^2）*vv[tt]/行和（uu[，tt]^2）zz RT（zz）vv[tt]<vv[er]uu<t（t（uu）*sqrt（vv））uu[，tt]<zz*uu[，tt]gg<uu%*%t（uu）}gg<求解（gg）ss<应用（r1，1，sd）gg<-t（gg/ss）/ssreturn（gg）}B免责声明只要上下文需要，男性包括女性和/或女性，单数形式包括复数形式，反之亦然。

本文作者（“作者”）及其附属公司，包括但不限于QuantigicSolutions LLC（“作者附属公司”或“其附属公司”），不作任何默示或明示保证或任何其他陈述，包括但不限于对特定目的的适销性和适配性的默示保证，与本文件内容相关，包括但不限于本文件中包含的任何代码或算法（“内容”）。读者可自行承担使用内容的风险，读者不得对作者或其关联方提出任何索赔，作者及其关联方对读者或任何第三方不承担任何损失、费用、机会成本等责任，与读者使用内容有关或因读者使用内容而产生的任何损害或任何其他不利影响，包括但不限于：读者遭受的任何直接、间接、附带、特殊、后果性或任何其他损害，无论是何种原因造成的，还是根据任何责任理论造成的；任何利益损失（无论是直接或间接发生）、任何商誉或声誉损失、任何数据损失、替代货物或服务的采购成本或任何其他有形或无形损失；读者对内容的完整性、准确性或存在性或使用内容的任何其他影响的依赖；以及读者在使用内容时可能遇到的任何和所有其他不利因素或负面影响，而不管作者或其同僚是否、是否或应该意识到这些多样性或负面影响。附录A中包含的R代码是QuantigicSolutions LLC受版权保护的R代码的一部分，并在QuantigicSolutions LLC明确许可的情况下提供。

版权所有人保留本协议附录A中包含的受版权保护的源代码及其所有版权的所有权利、所有权和权益。参考Campbell，L.L.（1960）平稳随机过程的最小系数率。信息与控制3（4）：360-371。Forgy，E.W.（1965）《多元数据的聚类分析：分类的效率与可解释性》。生物特征21（3）：768-769。Grinold，R.C.和Kahn，R.N.（2000）《主动投资组合管理》。纽约州纽约市：麦格劳·希尔。Hartigan，J.A.（1975）聚类算法。纽约州纽约：John Wiley&Sons，股份有限公司Hartigan，J.A.和Wong，M.A.（1979）Algorithm AS 136：一种K均值聚类算法。皇家统计学会杂志，C辑（应用统计学）28（1）：100-108。Kakushadze，Z.（2015a）均值回归和优化。资产管理杂志16（1）：14-40。在线提供：https://ssrn.com/abstract=2478345.Kakushadze，Z.（2015b）俄罗斯玩偶风险模型。《资产管理杂志》16（3）：170-185。在线提供：https://ssrn.com/abstract=2538123.Kakushadze，Z.（2015c）异质风险模型。Wilmott杂志2015（80）：40-55。在线提供：https://ssrn.com/abstract=2600798.Kakushadze，Z.（2016）收缩率=因子模型。《资产管理杂志》17（2）：69-72。在线提供：https://ssrn.com/abstract=2685720.Kakushadze，Z.和Yu，W.（2016a）多因素风险模型和异质CAPM。投资策略杂志5（4）：1-49。在线提供：https://ssrn.com/abstract=2722093.Kakushadze，Z.和Yu，W.（2016b）统计行业分类。风险与控制杂志3（1）：17-65。在线提供：https://ssrn.com/abstract=2802753.Kakushadze，Z.和Yu，W.（2017a）统计风险模型。投资策略杂志6（2）：11-40。在线提供：https://ssrn.com/abstract=2732453.Ledoit，O.和Wolf，M。

（2004）亲爱的，我缩小了样本协方差矩阵。《投资组合管理杂志》30（4）：110-119。Lloyd，S.P.（1957）《PCM中的最小二乘量化》。工作文件。贝尔电话实验室，新泽西州默里山。Lloyd，S.P.（1982）《PCM中的最小二乘量化》。IEEE信息论交易28（2）：129-137。MacQueen，J.B.（1967）多变量观测分类和分析的一些方法。摘自：LeCam，L.和Neyman，J.（编辑）《第五届伯克利数理统计和概率研讨会论文集》。加利福尼亚州伯克利：加利福尼亚大学出版社，第281-297页。Markowitz，H.M.（1952）投资组合选择。《金融杂志》7（1）：77-91。Rebonato，R.和J¨ackel，P.（1999）为风险管理和期权定价目的创建有效关联矩阵的最通用方法。风险杂志2（2）：17-28。Roy，O.和Vetterli，M.（2007）《效果等级：效果维度的衡量标准》。欧洲信号处理会议（EUSIPCO）。波兰波兹南（2007年9月3日至7日），第606-610页。Sharpe，W.F.（1994）夏普比率。投资组合管理杂志21（1）：49-58。斯坦豪斯（Steinhaus，H）（1957）苏拉军物资部（Sur la division des corps mat’eriels en parties）。公牛Acad。波隆。Sci。4(12): 801-804.Yang，W.，Gibson，J.D.和He，T.（2005）效率和有损源编码。IEEE信息论学报51（1）：381-386。表1：集群数量K指示值的模型相关矩阵特征值汇总。除了第二个标有星号K=100的条目（M=1000）外，所有运行都是针对“抽样”数量M=100。1st Qu.=第一个四分位数；3rd Qu.=第三个四分位数。平均值总是1 aseψij是一个具有单位对角线的相关矩阵（特征值之和等于对角线元素之和）。K最小第一季度中位数平均第三季度。

Max10 0.078 0.4795 0.6579 1 0.8318 514.920 0.0684 0.45 0.6114 1 0.7856 503.630 0.0695 0.4221 0.5662 1 0.7533 499.740 0.07 0.3895 0.5346 1 0.7295 497.850 0.0684 0.3722 0.515 1 0.7025 49660 0.0685 0.3574 0.4979 1 0.6841 495.970.0661 0.3469 0.4838 1 0.6686 497.170 0.0665 0.3477 0.4848 1 0.6701 496.970 0.0653 0.3464 0.483 1 0.6686 496.970 0.0652 0.3467 0.4825 1 0.6663 497.470 0.0642 0.3474 0.4835 10.67 496.670 0.0662 0.3477 0.4843 1 0.6679 496.770 0.064 0.3473 0.4853 1 0.6691 496.980 0.0614 0.3393 0.4739 1 0.6532 497.690 0.0355 0.3298 0.4626 1 0.641 497.6100 0.015 0.3241 0.4532 1 0.6307 498.3*0.0152 0.3318 0.4618 1 0.6276 498.1101 0.0184 0.3217 0.4515 1 0.6278 498.6102 0.0203 0.3219 0.4512 1 0.6255 498.6103 0.0197 0.321 0.4496 1 0.6268 498.4104 0.0153 0.319 0.4482 1 0.6245 498.5105 0.0088 0.3204 0.4491 1 0.6236 498.2106 0.0116 0.3191 0.447 1 0.6213 498.4107 0.009 0.3176 0.4466 1 0.6215 498.2108 0.0067 0.3165 0.4441 1 0.6187 498.4109 0.0105 0.319 0.4447 1 0.6182 498.2110 0.0032 0.3149 0.4432 1 0.6176 498.3120 0.0026 0.3103 0.4355 1 0.6081 499130 0.0051 0.3023 0.4259 1 0.5986 499.7140 0.0022 0.2976 0.4209 1 0.5917 499.4150.002 0.292 0.4132 1 0.5839 499.8表2：所示集群数量的机器学习风险模型的回测结果（此处以及表3和表4中的“抽样”数量M=100）。ROC=年化资本回报率（单位%）。SR=年化日夏普比率（夏普，1994年）。CPS=每股美分。标记为“尾”的情况对应于变形模型相关矩阵xBψij；详见2.4小节。

基于这些结果的ROC、SR和CPS图见图6、7、8。K ROC（%）SR CPS10 42.643 15.524 2.05920 43.135 16.089 2.09330 43.11 16.337 2.09540 43.025 16.409 2.09440 42.961 16.366 2.09150 42.895 16.43 2.09150 42.891 16.486 2.09160 42.647 16.414 2.08470 42.449 16.358 2.0880 42.131 16.313 2.07190 41.842 16.236 2.064100 41.387 16.096 2.051110 40.958 16.057 2.041120，尾40.726 15.902 2.033130，尾40.215 15.838 2.019140，尾39.894 15.819 2.011150，tail 39.162 15.668 1.986表3：针对指定数量的集群和迭代的机器学习风险模型的回溯测试结果（详见第3节）。X2、X3、X4分别代表2、3、4次迭代。