我们将讨论局限于手头的问题，然而，这些方法是完全通用的，很容易扩展到任意维的问题。B、 1最小化最大距离（Minimax）LPDefine the Maximum Distance to true() 和估计值() 图XI中L、S、B的分量概率为Z=最大值{|-|, |-|, |-|, |-|, |-|, |-|}.  的值将Z最小化并保留§III.A中的边际PDF将是令人感兴趣的。即求解：最小化：Z=最大{|-|, |-|, |-|, |-|, |-|, |-|}从属于：1.000（L-边缘）0.164（S-边缘）0.7070.1290.948（B-边缘）0.0521.000（概率总和为1），其中：≥ 0，i=1，j=1,2,3，k=1,2（非负性约束）最小化集合的最大值是一个极大极小目标。虽然Z不是线性的，但（4.B.1）中的约束优化问题可以表示为LP并作为LP求解。请注意，在7个约束中，第4和第6个hareredundant，因为所有概率之和为1，因为第7个L有1个分量。因此，它们被删除，并且由于集合的最大值必须大于或等于所有集合元素，（4.B.1）变为：（4.B.1）最小化：ZSubject to:Z≥ |-|      i=1，j=1,2,3，k=1,21.000（L-边缘）0.164（S-边缘）0.7070.948（B-边缘），其中：Z，≥ 0，i=1，j=1,2,3，k=1,2（非负性约束）（4.B.2）中的约束包括绝对值，并且是非线性的，但是请注意X≥ |Y | iff X≥ Y和X≥-Y、 为了促进节约，当图XI中包含0个观测值的单元格产生>0的概率时，我们会惩罚目标。

这将确保它只在可行性需要时发生。约束条件包括≤nijk+Xijk，罚款为M·∑∑∑十、, 其中M任意大。当nijk=0和> 0，xijk必须大于0才能满足约束，Z将受到惩罚。最终LP公式为：最小化：Z+Mo∑∑∑十、受制于：Z≥ -和 Z≥ -对于i=1，j=1,2,3，k=1,2≤ 对于i=1，j=1,2,3，k=1,2，nijk+xijk1.000（L-边缘）0.164（S-边缘）0.7070.948（B-边缘），其中：Z，, Xijk公司≥ 0，对于i=1，j=1,2,3，k=1,2（非负性约束）M和n对于i=1，j=1,2,3，k=1,2（已知常数），使用§II中的技术求解该LP。K、 1。解决方案是=  0.1638, =  0.6627,= 0.1212, = 0.0000, = 0.0447, = 0.0076，得出最小化目标Z=0.0151。B、 2最小平方距离之和lp定义真() 和估计值() 图XI中L、S、B的部件概率为Z=(-+ -+ (-+  (-+  (-+  (-.的值将Z最小化并保留§III.A中的边际PDF是令人感兴趣的。即求解：最小化：Z=∑∑∑从属于：1.000（L-边缘）0.164（S-边缘）0.7070.948（B-边缘），其中：≥ 0，i=1，j=1,2,3，k=1,2（非负性约束）目标Z是二次的且可分离的，因此（4.B.4）可以用LP近似，如§II所示。K、 2。

每个决策变量出现在Z的一项中，具有类似于图III的凸面形状。每个水平轴范围为0≤ ≤ 通过用连接线段替换二次项（4.B.2）（4.B.3）（4.B.4），将1和（4.B.4）转换为LP。横轴被划分为S个连续的部分和任何值可访问为=∑αpp/S具有∑αp=1、每学期然后线性近似为∑αpp/S, 应用（4.B.3）中的相同惩罚，因此（4.B.4）变成：最小化：∑∑∑∑αpp/S+ Mo∑∑∑十、从属于：∑αpp/S ≤ 对于i=1，j=1,2,3，k=1,2，nijk+xijk∑∑∑∑αpp/S1.000（L-边缘）∑∑∑∑αpp/S0.164（S-边缘）∑∑∑∑αpp/S0.707∑∑∑∑αpp/S0.948（B-边缘），其中：αp, Xijk公司≥ 0，对于i=1，j=1,2,3，k=1,2，p=0，。。。，S（非负性约束）M，S，, n对于i=1，j=1,2,3，k=1,2（已知常数），决策变量将（4.B.4）中的替换为αp在（4.B.5）中，并注意到最小化目标仅确保每个i、j、k的相邻α>0。我们使用s=500并求解（4.B.5）中的LP，以获得=0.1638, = 0.6614, = 0.1226, = 0.0000, = 0.0460, = 0.0063，得出目标Z=0.0008。§IV.B.1和§IV.B.2中解决的LP是为当前建模（L，S，B）的多变量PDF而定制的，并且这些概念很容易扩展到任何证券集合。附录C中提供的代码为任意数量的证券建模。我们的目的有两个：（1）找到一个可行的解决方案来初始化最后一步，（2）尽可能多地消除不必要的多元成分。在较大的问题中，此步骤可以消除80%以上的多变量单元。

注意，（L，S，B）′的依赖性是在没有估计任何协方差的情况下引入的，因为使用这些LPsolutions的多元PDF不是§III.A中边缘的乘积。具体而言，组分间依赖性是使用数据引入的，以指导哪些组分同时出现以及出现的频率。请注意，对3项资产中的每项资产的收益进行随机重新排序不会改变§III.A的结果，但会改变§IV.B.1和§IV.B.2中的概率估计。未知的从图XInow可以看出，有两组初始值是可行的，并且保留了边缘。五、 多元密度建模，带协方差小X。。。，XNbe RVs，用于计算不连续相关的N种金融证券的实际复合收益。每个xj上的历史数据将是随时间变化的随机样本，例如，xtj，t=1，。。。，T和j=1，。。。，N、 其中，xtj=（1+rtj），rtj为§II的实际回报。N、 每个Xjc的边缘密度可建模为异常混合物fj（xj），具有Gj组分，其中E（xj | zji=1）=μji，V（xj | zji=1）=σjiand P（zji=1）=πji，j=1，。。。，Nand i=1，。。。，gj。（X，…，XN）′的多元PDF将建模为G组分正态混合物，COV（Xj，Xk | zc=1）=σcjkforj≠k=1，。。。，N和P【zc=1】=c、 c=1，。。。，G、 如图XI所示，每个ZC定义了单变量组件的组合。

（X，…，XN）′的多元PDF为：（4.B.5）,…,√2π||e,∈为了保持安装的边缘，必须满足： …,…,……,j1，…，N给定历史样本和已知参数的未知参数的对数似然为：ln,…,,,…,,…,,,…,,,…,自然对数√2π||e通过求解以下一般NLP（见§II.K.4），可以找到未知参数的最大似然估计：Z=∑自然对数从属于：j……j1.j1…N,j1，…，N∞∞∞∞（支持边缘）Eigenj() > 0，对于j=1，。。。，N和c=1，。。。，G（VC矩阵为+定矩阵），其中：∑√||e,∈（多变量PDF）01,σ∈, 对于j≠k=1，。。。，N和c=1，。。。，G（决策变量）, = 诊断(), c=1，。。。，G（已知常数）关于概率和非对角VC元素（协方差），G组分多元混合物的对数似然在（5.4）中最大化。线性概率约束保持§IV.B中的边缘，协方差约束将确保+确定VC矩阵（见§II.I）。研究人员发现，混合PDF参数可以有条件地估计，方法是首先导出保持其他参数不变的概率，然后估计保持概率不变的其余参数（重复直到收敛）。ECME算法就是这样一种方法，它利用了（2.E.2）中的实际或不完全对数似然（参见，Liu&Rubin，1994；McLachlan&Krishnan，2008），是我们将用于优化的技术（5.4）。当安全性j的单变量分量I存在于多变量分量c中时，对于j=1，…，我们将指标函数I（c，j，I）定义为1，。。。，N、 i=1，。。。，gj，c=1，。。。，G和0，否则。A.

多元PDF优化a。1步骤1：优化wrt概率() 保持协方差不变最大化：Z=∑自然对数∑自然对数∑o从属于：∑我c、 j，io= πji，对于j=1，。。。，N和i=1，。。。，gj（支持边缘），其中：≥ 0，对于c=1，。。。，G（非负性约束）√||e,   对于t=1，。。。，T&c=1，。。。，G（已知常数），因为，（1）线性函数是凹的，（2）凹函数的对数是凹的，（3）凹函数的和是凹的，Z是凹的（Boyd&Vandenberghe，2009）。边缘是用独立线性约束强制执行的，因此（5.A.1）是§II中的CCP。K、 3和局部最优是全局最优。（5.A.1）的拉格朗日临界点（5.4）（5.A.1）（5.3）（5.2）（5.1）产生最大值，其中L(, λ） =Z∑∑λ∑我k、 j，iπji,（Jensen&Bard，2003年）。第一个派生词是L(,λ)/=∑∑∑λ我c、 j，i,  和L(,λ)/λ=π∑我k、 j，i,  第二个缺点是L(,λ)/=∑,  L(,λ)/=∑,  和L(,λ)/λ=-我c、 j，i对于c≠d=1，。。。，G、 j=1，。。。，N、 i=1，。。。，gj。

拉格朗日乘数的所有2ndDevivation都是零且非负约束通过删除具有< 0.A.2步骤2：优化wrt协方差（σ) 保持概率恒定最大值：Z=∑自然对数∑自然对数∑√||e受制于：Eigenj() > 0，对于j=1，。。。，N和c=1，。。。，G（VC矩阵为+定矩阵），其中：σ∈, 对于j≠k=1，。。。，N和c=1，。。。，G（决策变量）≥ 0，对于c=1，。。。，G（已知常数）最大化关于方差分量的多元对数似然函数是一个困难的一般NLP（§II.K.4），因为可能存在多个具有零梯度的局部最优解或鞍点以及具有非零梯度的边界最优解。塞尔等人（1992年）建议在良好的起点上进行爬山。梯度（g）有助于确定方向，黑森（H）有助于确定步长。Levenberg（1944）建议对牛顿方法进行修改，迭代为θi+1=θi–[H（θi）+si·i]-1·g（θi），其中SIA调整步长和爬升角度。Marquardt（1963）推导了一个类似的修正迭代，即θi+1=θi–[H（θi）+si·Diag（H（θi））]-1·g（θi），这被认为是牛顿法（通常发散）和梯度上升/下降（收敛太慢）之间的最佳折衷。基于这些方法的一类Levenberg-Marquardt技术已经发表，见Gavin（2017）Foranoview。虽然旨在寻找非线性模型中的最小二乘估计值（一个约束最小化问题），但Searle等人。

（1992）注意，它们在寻找方差分量的最大似然估计时也很有用。基于上述原因，梯度上升法和牛顿法均未能优化（5.A.2），并采用了阿列文伯格-马夸德方法，即迭代定义为θi+1=θi–∧i[H（θi）+si·i]-1·g（θi）和| si|≤ Max（| Diag[H（θi）]|）和线搜索参数λi∈ (0,1).  每次操作都会产生大量的随机信号和λ，我们会从表现最好的人中随机选择。变化siandλi用大的近似梯度上升和小的siNewton方法防止发散。这可以确保找到最接近的最大值，相对于已知的起点，同时扫描附近区域以获得更好的值。迭代到不可行区域是通过对有问题的VC矩阵（§II.I.1）进行脊线修复来解决的。