Jensen效应的第一项来自x附近xn（0）的变化（0）（见（4.8）），而第二项是由于稳健性增加到溶液中的偏差对Jensen效应的修正，这在（5.6）–（5.7）中进行了讨论。命题5.2的另一种解释是，根据命题4.2中推导出的经验最优xn（0）的样本外报酬的均值和方差（un（0），vn（0）），写出稳健的均值方差前沿（un（δ），vn（δ））。定理5.3。假设φ（z）满足假设2.1，f（x，Y）满足假设3.1和5.1。让常数ρ和θ由（5.7）和（5.12）定义，H（0）和β由（4.7）和（5.15）定义。则un（δ）=un（0）+ρδ2n+δ2[φ′′（1）]β′H（0）-1β+nO（δ）+o（δ），（5.18）vn（δ）=vn（0）+δhφ′（1）β′h（0）-1β+θ2ni+nO（δ）+O（δ）。（5.19）在这种情况下，undδ（0）=ρ2n，dvndδ（0）=φ′′（1）β′H（0）-1β+θ2n，因此与人口边界相反，δ=0时导数非零。在方差的情况下，β′H（0）-1β < 0. 由于项θ2n按系数1/n缩放，对于n足够大的情况，导数为负，方差在δ=0附近提前减小lin。平均值的变化率也是直线26 GOTOH、KIM和LIMbut，对于n足够大，ρ2很小，方差减少将占主导地位。当cr中的δ减小时，（5.18）中的二次项最终占主导地位，此时，由于系数为负值，平均值以递增的速度减小。有趣的是，平均值的边际变化等于稳健性对延斯效应的调整（见（5.4）、（5.6）和（5.7））。综上所述，（5.18）和（5.19）表明，当δ较小而n较大时，xn（δ）下样本外方差的减少明显大于对平均值的影响。当x不受约束时，这些结果适用。

如果x受到约束，则平均灵敏度关系（2.6）仍然成立，因此最坏情况下的优化仍在预期下降和灵敏度之间进行权衡，但约束将影响可实现的效率。5.4. DRO的预期回报可以超过SAA。（5.18）中的ρ2nδ一词与Jensen效应有关。特别是，稳健性将经验解的平均值从xn（0）更改为xn（δ），并将其方差从ξ（0）更改为ξ（δ），如（5.6）–（5.7）所示，这将Jensen效应从2ntr更改为2ntrξ（0）H（0）对于经验解xn（0）到2ntrξ（0）H（0）+ρ2nδ。注意，ρ可以是正的，也可以是负的。如果稳健性引入的偏差Δπ减少了Jensen效应的损失，则为正。当发生这种情况时，当δ对于（5.18）中的线性项占主导地位的二次项非常小时，un（δ）大于un（0）。也就是说，虽然DRO是一个最坏情况的问题，但稳健的解决方案可以比SAA解决方案具有更大的样本外预期回报。虽然不能保证ρ为正，但文献[8、17、20]中已根据经验记录了稳健决策下预期回报的改善，这将在我们的一些示例中看到。无论其符号是什么，ρ2nδ相对于方差减少来说都很小，当n→ ∞.5.5. 总结图5.1说明了本文的主要理论见解。

这里，（A）是流行分布下的预期报酬EP【f（x，Y）】，（B1）是经验问题解的分布xn（0），（B2）是样本外报酬的分布f（xn（0），Yn+1），（B3）是经验问题的“Jensen效应”；（B1）、（B2）和（B3）分布稳健经验优化模型的校准27（A）（B1）（B2）xun（0）（C1）（C2）（B3）（C3）un（δ）稳健增加了解决方案（D）样本外回归方差的减少。见图5.1。（A） 是人口分布下的预期报酬EP[f（x，Y）]。（B1）、（B2）和（B3）如图4.1所示，而（C1）、（C2）和（C3）是鲁棒性问题的对应项。具体而言，（C1）是robus t解的分布，xn（δ）；（C2）是样本外报酬f（xn（δ），Y）在稳健解下的分布；（C3）显示Jensen效应u(δ) - un（δ）。（A）所示为最佳奖励u（0）和u（δ） 人口问题（见（3.1）、（3.5）和（4.6））。如图4.1所示。（C1）、（C2）和（C3）是鲁棒问题的对应项。具体而言，（C1）是稳健解的分布，xn（δ）；（C2）是样本外奖励f（xn（δ），Y）在鲁棒解下的分布；（C3）显示Jensen效应u(δ)-un（δ）。（A）所示为最佳奖励u（0）和u（δ） 人口问题（见（3.1）、（3.5）和（4.6））。DRO在预期回报和敏感性之间进行权衡。对于图5.1中的示例，这对应于向经验解添加偏差，将xn（0）推向奖励函数的FL部分。这会将溶液的分布从（B1）更改为（C1），并将样本外奖励的分布从（B2）和（C2）更改为。

特别是，将解决方案推向目标的FL部分可减少样本外奖励的方差（比较（B2）和（C2）的分布），并将平均奖励从un（0）更改为un（δ）。定理5.3量化了平均值和方差对δ的依赖性。稳健性改变了Jensen效应(0) - un（0），SAA问题为u(δ) - （B3）和（C3）中所示的鲁棒性问题的un（δ）。如ρ的方程式（5.7）所示，Jensen效应大小的变化由28 GOTOH、KIM和LIMsolution的可变性变化以及奖励曲率的变化决定，这也可以在该图中看到。例如，当δ足够小时，鲁棒性问题的Jens效应较小（即ρ>0），鲁棒性会改善样本外预期回报（un（δ）>un（0）），这在第5.4节中进行了讨论。如（D）所示。我们的分析表明，相对于SAA解决方案，当稳健性参数（不确定性集）很小时，在对预期回报影响最小的情况下，可以大幅降低灵敏度。当δ较大时，这些结果并没有说明这种权衡效应，但我们所有实验（第7节）中的稳健性益处在δ中都在减少。这表明“小δ”区域是最有趣的区域。6、稳健优化模型校准建议5.2表明，当模糊度参数δ较小时，方差减少是稳健优化的一阶好处，而对平均值的影响（几乎）要小一个数量级。

这意味着δ应通过在样本外平均值和方差之间进行权衡来校准，而不是仅仅通过优化平均值来校准，就像在调整自由参数时通常所做的那样（例如，在机器学习应用中）。然而，观察到稳健的均值方差前沿un（δ），vn（δ）: δ ≥ 0o个≡nEP[f（xn（δ），Yn+1）]，VP[f（xn（δ），Yn+1）]: δ ≥ 0o决策者无法计算，因为他/她不知道数据生成模型p，因此使用重采样方法近似边界是很自然的。其中一种方法使用我们现在描述的众所周知的引导过程，并在算法1中正式说明。具体而言，假设决策者有一个数据集D={Y，···，Yn}和相关的经验分布Pn。为了近似不同可能数据集（大小为n）的样本外行为，可以通过模拟n个newi生成所谓的引导数据集，称之为D（1）。i、 d.来自经验分布Pn的数据点。与此bootstrap数据集相关的是bootstrap经验分布P（1）n【13】。这个过程可以根据需要重复任意多次，D（j）和P（j）n表示bootstrap数据集，并在重复j生成bootstrap经验分布。我们在算法1中用k表示bootstrap样本数。对于每个D（j）和P（j）n，我们可以通过在分布稳健经验优化模型29组δ的特定校准下，通过解决根据自举经验分布P（j）定义的稳健优化问题，计算（一系列）稳健决策x（j）（δ）（步骤4）。然后，可以计算原始经验分布Pn下x（j）（δ）奖励的均值和方差，我们在步骤5和6中用u（j）（δ）和v（j）（δ）表示。T hek bootstrap样本产生均值-方差对（u（j）（δ），v（j）（δ）），j=1，·k。

平均这些值给出了样本外平均方差边界的估计值（步骤7和步骤8）。算法1：稳健解生成的样本外稳健均值方差前沿的Bootstrap估计输入：数据集D={Y，…，Yn}；模糊参数网格G={δ，…，δm}。输出：由δ参数化的样本外奖励的均值和方差∈ G、 1代表j← 1至k do2 D（j）← i的引导数据集（Pn中的n个i.i.d.数据点样本）3← 1至m do4 x（j）（δi）← 参数maxxminQnEQf（x，Y）+δiHφ（Q | P（j）n）o，5u（j）（δi）← EPn公司f（x（j）（δi），Y）,6 v（j）（δi）← VPnf（x（j）（δi），Y）.7^un（δi）←对于所有δi，kkPj=1u（j）（δi）∈ G8^vn（δi）←kkPj=1v（j）（δi）+k-1kPj=1u（j）（δi）- un（δi）, 对于所有δi∈ G9返回（μn（δi），μvn（δi））：i=1。。。，m级在下一节中，我们将考虑三个应用，库存控制、投资组合优化和逻辑回归。我们阐述了我们理论的各个方面，并展示了如何使用算法1中给出的bootstraprobust均值-方差边界来有效校准此类设置中的模糊参数。我们考虑三个例子。第一个是鲁棒库存控制问题的模拟实验，说明了我们理论的关键要素，而接下来的两个例子是对真实数据的抽样测试。对于这些实验，惩罚函数Hφ是相对熵。7.1. 例1：库存控制。我们首先考虑一个模拟示例，其中r ewardf（x，Y）=r min{x，Y}- cx。（7.1）这是一个所谓的库存问题，其中x是订单数量（决策），Y是随机需求，r和c是收入和成本参数。30 GOTOH、KIM和Lim需求分布P是两个指数分布Exp（λL）和Exp（λH）的混合，其中λLandλ共享速率参数。这可能对应于具有不同需求特征的两种需求模式（高需求和低需求）。

对于这个数值示例，我们将平均值设置为λ-1L=10和λ-1H=100，收入和成本参数r=30，c=2。从低端提取需求的概率为0.7（或等效地，从高端提取需求的概率为0.3）。我们进行以下实验。决策者最初显示n个数据点Y，Y从混合分布P中提取i.i.d.然后，决策者在经验分布Pn下优化robustobjective函数，以产生最佳鲁棒订单量xn（δ）。然后从P生成另一个数据点Yn+1，与P个前一个数据点和目标值f（x）无关记录n（δ），Yn+1）。样本外均值和方差EPf（xn（δ），Yn+1）和副总裁f（xn（δ），Yn+1）通过运行经验K次来近似，其中K是一些大数字，每次使用新生成的数据集Y，Yn，Yn+1~ P样本平均值和方差在K次重复中计算。在图7.1中，我们绘制了一对（EPf（xn（δ），Yn+1）, 副总裁f（xn（δ），Yn+1）) 对于不同的样品尺寸，n=10、30、50 w，给定线条上的标记对应于δ的不同值；最右标记对应于δ=0（经验）。我们还绘制了“真实”稳健均值-方差边界，即配对（EPf（x（δ） ，Y）, 副总裁f（x（δ） ，Y）), 这与n无关。与定理5.3一致，当δ很小时，我们观察到样本外敏感性（方差）显著降低，对样本外预期回报的影响最小。

我们的理论没有说明δ的大值的影响，尽管我们看到，随着δ的增加，稳健性的好处正在减少，灵敏度降低的速度在减少，预期回报在增加，随着δ的增加。图7.1显示，随着样本量n的增加，样本外均值方差前沿和“真实”稳健均值方差前沿之间的差距变小。这一差距可以用命题5.2来解释，该命题表明这些边界之间的差异应该像O（n）一样变为零-1). 这如图7.2所示，图中绘制了不同n值的样本f前沿和真实前沿下真实前沿之间的最大间隙（大于δ）。在上一节中，我们提出了bootstrap前沿，作为样本外前沿的近似值。接下来，我们将研究不同样本大小n的ap近似的质量。从校准的角度来看，引导边界不必等于样本外边界，只需保持相对形状。例如，如果分布稳健经验优化模型的校准之间的唯一差异为310 0.2 0.4 0.6 0.8 1 1 1.2 1.4 1.6 1.8 2报酬均值报酬方差图7.1。n=10、30和50个数据点的样本外robus t均值方差f前沿，以及在稳健性参数δ不同值的数据生成模型下由DRO解生成的真实前沿。10 20 30 40 50最大边界间隙图7.2。n越大，样本外边界和真实边界之间的差距越大。自举边界和样本外边界是其大小的两倍（均值和方差），使用任一边界时，δ的选择应相同，因为均值和方差之间的相对trade-o效应是相同的。

根据这一观察结果，在图7.3（A）、（B）和（C）中，我们绘制了归一化自举和样本外f前沿，其中平均值和方差的变化分别被归一化为1，对于不同的样本大小n=10、30、50。很明显，随着样本量的增加，自举边界更接近样本外边界的相对形状。32 GOTOH、KIM和LIM0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1报酬的标准化方差0.20.40.60.81.2标准化平均报酬（a）n=10.0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1报酬的标准化方差0.20.60.81.2标准化平均报酬（b）n=30.0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0 9报酬的标准化方差0.20.40.60.81.2标准化平均报酬（c）n=50。图7.3：。Bootstrap边界与样本外边界（带归一化）。对这两个边界进行缩放和归一化，以便在δ=0（即经验优化）时，均值和方差均等于1，在最稳健的情况下，均值和方差均等于0（δ=100）。我们看到，随着n的增加，与δ的相同值对应的边界上的点收敛。7.2. 示例2：投资组合优化。在第二个应用程序中，我们考虑了来自[14]的“10个行业投资组合”数据集的实际月度回报数据。奖励函数是回报的指数效用SF（x，R）=-经验值-γR′x, （7.2）其中x∈ Rdis投资组合向量（决策变量），R∈ Rdi是随机回报的向量，γ是风险规避参数。为了简化实验，我们选择了分布稳健经验优化模型的风险规避参数校准33γ=1。在本例中，我们施加预算约束1′x=1，并假设资产持有有界，-1.≤ xi≤ 1，i=1。。。，d、 我们进行了以下实验。

我们有d=10个资产，并且有兴趣了解当我们使用相对较少的数据点（n=50，在1968年至1972年6月的时间段内）估计10维节理分布时，稳健优化和我们的δ校准方法的执行情况。稳健的投资组合将在1972年7月至1976年9月、1976年10月至1980年12月和1981年1月至1985年3月的未来50个月w indows月度回报的经验分布上进行测试，这些分布与培训集不重叠。首先，我们使用1968年4月至1972年6月期间的50个月收益率，针对δ的不同值，解决稳健投资组合选择问题，并使用算法1中描述的bo-otstrap p程序构建稳健均值方差前沿。图7.4显示了这一边界，我们也在其周围标记了+/- 在均值和方差维度上，bootstrap样本的一个标准偏差。经验优化对应于点δ=0，并且根据定理5.3预测，当δ接近0时，与平均值相比，方差显著减少。当δ较大时，我们的理论不适用。然而，它表明，当δ较小时，应预期显著的样本外敏感性降低，对平均值的影响最小，而图7.4表明，稳健性的益处在δ内减少，敏感性（方差）降低率降低，平均值降低率在δ增加时增加。校准和Ou t样本检验：bootstrap frontier估计不同决策的样本外均值和方差，并可用于校准δ。在这个例子中，相对于平均值损失的方差减少率对于δ而言是实质性的≤ 5，但一旦δ超过5，这就开始减少（机器人的成本增加）。

δ值介于2和5之间似乎是合理的。虽然δ>10的值可能是一些人的首选值，但与方差减少/稳健性提高相比，平衡明显倾向于平均回报的损失。还要注意的是，一种经典的校准方法，它优化了预期回报的自举估计，并忽略了客观可变性，因此选择δ=0。这与经验优化相对应，完全抵消了稳健模型的所有好处。更一般地说，虽然DRO有可能产生在样本外预期回报方面优于经验优化的解决方案，如定理5.3所证明的，这种改进通常是在δ很小的情况下应用的，但我们相信，可以使用类似的方法来导出解和样本外回报的η级展开≡ 当η=0（δ=∞), 并研究该体系中DRO溶液的样品外性能。我们的实验表明，这是机器人均值-方差边界中不太有趣的部分。34 GOTOH、KIM和LIMVariance的效用图7.4。使用1968年4月至1972年6月期间50个月的月度回报数据生成的用于投资组合优化的Bootstrap稳健均值方差前沿。相对于方差减少（δ很小时）而言，这一点很小，而且即使在模型不确定性很大的情况下，也无法保证此类解决方案，如投资组合选择示例所示。将使用bootstrap前沿的校准与通过解决鲁棒优化问题MaxXminq获得的决策进行比较也是很有趣的∈Uα均衡器f（x，Y）（7.3）其中不确定度setUα中的阈值Qn（α）={Q:H（Q | Pn）≤ Qn（α）}（7.4）是（1-α） -H（Q | Pn）分布的分位数，我们通过从Pn自举模拟分布Q生成。

信任级别1- 稳健优化文献中通常建议α值为90%、95%或99%。从对偶性来看，对于任何阈值Qn（α），都有一个唯一的模糊参数值δ=Δα>0，对于该值，（7.3）的解与我们的鲁棒解x（Δα）一致；参见【4】中的推论3和附录G。在表7.1中，我们报告了与图7.4中稳健均值方差边界上不同点对应的显著水平α的模糊度参数值Δα。虽然与表7.1中α=0.01、0.05、0.1的“经典”显著性水平相关的稳健决策在任何给定应用中可能会或可能不会表现良好，但很明显，与这些显著性水平相关的Δα的范围是有限的。这直接影响了分布稳健经验优化模型的范围校准35表7.1。重要级别α重要级别α模糊度值δα的各种传统值的对应模糊度参数值δα≈ 1<100.8 230.10 300.05 310.01 33决策者可用的可能解决方案，在本例中，这些解决方案集中在引导边界的“极端保守”区域（图7.4）。δ的值≤ 10与图7.4中理想的边界部分相关，对应的显著水平α非常接近1。由于H（Q | Pn）的关联分位数非常接近于0，因此很难通过模拟来估计这些显著水平。

虽然当数据生成分布P的支持是有限的且φ（z）是充分正则的时，H（Q | Pn）的渐近性质可用于估计α，但如果我们将α视为均值和灵敏度之间权衡的参数化，并接受经典显著水平在样本外表现方面没有什么特殊性，这似乎毫无意义。接下来，我们分析通过求解δ=1、2、3、5、10的样本内问题（如图7.4中bootstrap frontier所示）获得的robus t解的样本外性能，（7.3）对应于δα=30（α=0.10）、δα=31（α=0.05）、δα=33（α=0.01）的解，以及经验优化问题的解（即δ=0的稳健解）。在三个数据大小为n=50且与训练数据不重叠的样本测试集上测试每个溶液。样本结果如图7.5所示。请注意，图中报告了（7.2）中定义的效用函数f（x，R）的平均值和方差，这与本文稳健优化模型的框架一致。图7.5一致显示，当δ（“稳健性”）的值从零增加时，平均性能下降，但目标可变性减少，这是我们的理论所期望的。与bootstrap前沿一致（图7.4），与“高密度不确定性集”相关的投资组合具有较低的方差，尽管对预期效用的影响是实质性的。7.3. 例3：逻辑回归。作为最终应用，我们将稳健优化应用于我们在WDBC乳腺癌诊断数据集上评估的逻辑回归[19]。36 GOTOH、KIM和LIM0 0.002 0.004 0.006 0.008 0.01 0.012效用方差-0.985-0.98-0.975-0.97-0.965-0.96图7.5。

portfolioproblem的三个样本外稳健均值-方差前沿。边界是50个月测试数据集的平均值和方差。逻辑回归的奖励函数由f（（x，x），（Y，Y））=ln（1+exp给出(-Y（x′Y+x）），（7.5），其中Y∈ {-1，1}是二元标签，Y是协变量向量，x和xare决策变量分别表示分类线性模型的系数和截距。普通logistic回归表示为（7.5）的s样本平均值的最大化。为了证明稳健最大似然的样本外行为，我们使用WDBC乳腺癌诊断数据集的前一半（即569个样本中的285个）来解决普通/稳健似然最大化问题，并使用剩余一半样本（即569个样本中的284个）计算结果模型的对数似然和对数似然方差。图7.6显示了自举边界和从无样本测试中获得的边界。同样，可以使用稳健前沿的bootstrap估计值获得提供良好样本外对数似然的δ选择，δ传递显著敏感性（方差）降低值较小，对预期回报的影响最小。如图7.4所示，机器人的好处随着δ的增加而减少。结论DRO模型的正确校准需要对样本外奖励的分配如何取决于“鲁棒性参数”有一个原则性的理解在本文中，我们研究了分布稳健经验优化模型的diedCALIBRATION 3700.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45对数似然方差-0.7-0.6-0.5-0.4-0.3-0.2-0.1样本测试的平均对数似然bootstrapout图7.6。Bootstrap frontier vs。

样本外测试与WDBC乳腺癌诊断数据集保持一致。样本外检验边界显示了WDBC数据集下半部分样本（即284个样本）在使用前半部分（即285个样本）获得的解决方案基础上的对数似然均值和方差。在这里，我们使用了三个属性：no.2、no.24和no.25（在30个可用的协变量中），这三个属性在论文中被发现是最好的预测。为了解决优化问题，我们使用了RNUOPT（NTT DATA Mathematic Systems Inc.），一个非线性优化解算器包。稳健经验优化的样本外性质，并发展了稳健参数的数据驱动校准理论。稳健性与控制奖励分布的方差密切相关，因为这降低了平均奖励对误判的敏感性。我们的主要研究结果表明，“一点稳健性”的一阶益处是显著减少样本外回报的方差，而对平均值的影响几乎小了一个数量级。我们的结果表明，应通过在样本外均值和方差的估计值之间进行比较来校准可靠性参数。为了校准稳健性参数，我们引入了稳健性均值-方差边界，并表明它可以使用像bootstrap这样的重采样方法来近似。我们将模糊均值-方差边界应用于三个应用：库存控制、投资组合优化和逻辑回归。

我们的结果表明，符合“标准”置信水平（例如95%）的经典校准方法通常与过大的稳健性参数和过于悲观的解决方案相关，这些解决方案在样本外表现不佳，同时忽略了方差和38 GOTOH，KIM，而纯粹基于平均值的界限校准可能会导致可靠性参数过小，并导致解决方案遗漏了机器人优化的一阶效益。确认。J、 Gotoh部分由JSP KAKENHI Grant 19H02379、19H00808和16H01833支持。M、 J.Kim部分获得了自然科学与工程研究委员会（NSERC）发现基金RGPIN-2015-04019的支持。A、 E.B.Lim在新加坡教育部学术研究基金第2级MOE2016-T2-1-086项目中获得支持。参考文献【1】Abu Mostafa，Y.S.，Magdon Ismail，M.，Lin，H.-L.2012。从数据中学习。AMLbook。通用域名格式。[2] Anderson，E.J.，Philpott，A.B.2019年。具有小样本量的稳健样本平均应用程序。(http://www.optimization-online.org/DB_HTML/2019/02/7092.html)[3] Ban，G.Y.，El Karoui，N.，Lim，A.E.B.2018年。机器学习和投资组合优化。《管理科学》，64（3），1136–1154。(https://doi.org/10.1287/mnsc.2016.2644)[4] Ben Tal，A.、den Hertog，D.、De Waegenaere，A.、Melenberg，B.、Rennen，G.2013年。受不确定概率影响的优化问题的鲁棒解。《管理科学》，59（2），341–357。[5] Bertsimas，D.，Copenhaver，M.S.2018年。线性回归和矩阵回归中鲁棒性和正则化等价性的表征。《欧洲运筹学杂志》，270（3），931–942。[6] Bertsimas，D.，Gupta，V.，Kallus，N.，2018年。数据驱动的稳健优化。数学规划，167（2），235–292。(https://doi.org/10.1007/s10107-017-1125-8)[7] Bertsimas，D。，Gupta，V.，Kallus，N.，2018年。

稳健样本平均近似。数学规划，171（1-2），217–282。(https://doi.org/10.1007/s10107-017-1174-z)[8] Bertsimas，D.、Litvinov，E.、Sun，A.X.、Zhao，J.、Zheng，T.2013年。securityconstrained机组组合问题的自适应鲁棒优化。IEEE电力系统交易，28（1），52–63。[9] Blanchet，J.、Kang，Y.、Zhang，F.、Murthy，K.2017年。数据驱动分布式鲁棒优化的最优成本选择。arXiv:1705.07152。(https://arxiv.org/abs/1705.07152)[10] Brown，D.，De Giorgi，E.，Sim，M.2012年。期望偏好及其在风险度量中的表现。《管理科学》，58（11），2095–2113。[11] 德拉吉，E.，叶，Y.2010。矩不确定性下的分布鲁棒优化及其在数据驱动问题中的应用。运筹学，58（3），595–612。[12] Duchi，J.C.，Glynn，P.W.，Namkoong，H.2016年。稳健优化的统计：一种广义经验Allikelihood方法。arXiv:1610.03425(https://arxiv.org/abs/1610.03425).[13] Efron，B.，Tibshirani，R.J.1994年。引导程序简介。查普曼和霍尔。[14] French，K.R.2015年。10个行业组合。2014年12月发布，2015年4月2日收到，http://mba.tuck.dartmouth.edu/pages/faculty/ken.french/Data_Library/det_10_ind_port.html.[15] Gao，R.，Chen，X.，Kleywegt，A.J.2017年。统计学习中的瓦瑟斯坦分布稳健性和正则化。工作文件。分布式稳健经验优化模型的校准39【16】Gotoh，J.，Kim，M.J.，Lim，A.E.B.2018。机器人经验优化与均值方差优化几乎相同。运筹学快报，46（4），448–452。[17] Kim，M.J.，Lim，A.E.B.2014年。强大的多武装匪徒问题。《管理科学》，62（1），264–285。[18] Lam，H.2016年。随机系统的可靠性灵敏度分析。

运筹学数学，41（4），1248-1275。[19] Lichman，M.（2013）UCI机器学习知识库http://archive.ics.uci.edu/ml.加利福尼亚州欧文：加利福尼亚大学信息与计算机科学学院。[20] A.Lorca和A.X.Sun。2014年。具有动态不确定性集的自适应鲁棒优化，用于大风条件下的多周期经济调度。IEEE电力系统交易。30(4), 1702 – 1713.[21]O.L.Mangasarian、W.N.Street和W.H.Wolberg。通过线性规划进行乳腺癌诊断和预后。运筹学，43（4），570–577。【22】Namkoong，H.，Duchi，J.C.2017年。基于方差的凸目标正则化。第31届神经信息处理系统国际会议记录，2975–2984。[23]Shapiro，A.，Dentcheva，D.，Ruszczy\'nski，A.2014。随机规划讲座：建模与理论，第二版。MOS-S IAM系列可选。[24]Wu，D.，Zhu，H.，Zh ou，E.2017年。数据驱动的随机优化的贝叶斯风险方法：公式和简化。《暹罗优化杂志》，28（2），1588–1612。【25】van d er Vaart，A.W.2000。渐近统计。剑桥大学出版社。【26】Xu，H.，Caramanis，C，Mannor，S.2010年。稳健回归和套索。IEEE信息论交易。56（7），3561–3574.40 GOTOH，KIM和Lim附录A.渐近：一般结果Letx:= 参数maxx∈XnEP公司f（x，Y）o、 （A.1）xn：=arg maxx∈XnEPn公司f（x，Y）≡nnXi=1f（x，Yi）o.（A.2）下面的结果（文献23中的定理5.4）给出了xnis渐近一致的条件。定理A.1（定理5.4，[23]）。设x与x请参见（A.1）–（A.2）。假设（i）f（·，Y）i对于P-a.s是上半连续的。

每个Y，（ii）f（·，Y）几乎肯定在x，P中是凹的，（iii）se t x是闭的和凸的，（iv）f（x）：=EP[f（x，Y）]是上半连续的，并且存在一个点x∈ X使得f（X）>-∞ 对于'x邻域中的所有x，（v）真实问题（a.1）的最优解集S是非空且有界的，（vi）LLN逐点保持：对于每个x∈ Xlimn公司→∞nnXi=1f（x，Yi）=EP[f（x，Y）]然后xn→ x个.[25]中的定理5.21给出了xnfrom（A.2）渐近正态的条件。定理A.2（定理5.21，[25]）。设x与x定义见（A.1）–（A.2）。对于欧氏空间的一个开放子集中的每个x，设x 7→ xf（x，Y）是一个可测的向量值函数，对于每个x和xin，x的邻域和一个可测函数F（Y），其中EP[F（Y）]<∞,kxf（x，Y）-xf（x，Y）k≤ F（Y）kx-xk。假设EPkxf（x, Y）k<∞ 地图x 7→ EP公司[xf（x，Y）]在解决方案x下是不同的方程式EP的[xf（x，Y）]=0，非奇异导数矩阵∑（x) := xEP公司[xf（x, Y）]。分布稳健经验优化模型41If EPn的标定xf（xn，Y）= oP（n-1/2）和xnP→ x个, 然后√n（xn- x个) = -∑（x)-1.√nnXi=1xf（x, 彝语）+oP（1）。特别是√n（xn-x个) 均值为0且协方差矩阵∑（x）渐近正态)-1EP[xf（x, Y）xf（x, Y）′（x∑）)-1)′.在允许我们交换关于x的微分和关于Y的积分顺序的条件下，我们得到∑（x）=xEP[f（x，Y）]=xEP公司[xf（x，Y）]=EPxf（x，Y）.然而，请注意，定理A.2并不要求x 7→ 对于∑（x）的存在，f（x，Y）在任何地方都是二次可微的。附录B。

命题B.1（解的一致性）的证明注意到（2.2）和（3.2）是标准的经验优化问题，因此从定理A.1可以看出，如果假设2.1和3.1得到满足，则xn（0）和（xn（δ），cn（δ））是一致的。命题B.1。假设假设满足假设2.1和3.1，则xn（0）P-→ x个（0）和（xn（δ），cn（δ））P-→ （十）（δ） ，c(δ)).证据我们从（xn（δ），cn（δ））开始。Letg（x，c，Y）：=c+Δφ*δ(-f（x，Y）- c）.我们可以将（3.2）和（3.5）中的目标函数分别写成EPn[g（x，c，Y）]和EP[g（x，c，Y）]，作为（x，c）的函数。自φ起*（ζ） 是凸的，ζ和δ不递减(-f（x，Y）-c） 对于P-a.e.Y，g（x，c，Y）在（x，c）中联合凸。现在从定理A.1（文献23中的定理5.4）得出，（xn（δ），cn（δ））P→ （十）（δ） ，c(δ)). xn（0）的一致性也来自相同的结果。附录C.定理3.3的证明以下结果将定理a.2直接应用于robus t优化问题（3.2）的一阶条件（3.4）。定理3.3本质上是命题42 GOTOH、KIM和LIMC的对立。1表示这些结果的形式使我们能够分析最坏情况下的样本外报酬分布。提案C.1。假设假设假设2.1和3.1成立。让（xn（δ），cn（δ））求解robustempirical优化问题（3.2）和（x（δ） ，c（δ） ）解决数据生成模型P下的稳健问题（3.5）。definea=EP[-Jψ（x（δ） ，c(δ))] ∈ R（d+1）×（d+1），B=EP[ψ（x（δ） ，c（δ） ）ψ（x）（δ） ，c(δ))′] ∈ R（d+1）×（d+1），其中ψ（x，c）由（3.3）给出，Jψ表示ψ的雅可比矩阵，and v（δ）：=A-1BA-1′∈ R（d+1）×（d+1）。那么（xn（δ），cn（δ））是联合渐近正态的，其中√nxn（δ）-x个（δ） cn（δ）-c(δ)D-→ N（0，V（δ）），作为N→ ∞.定理3.3的证明。

该结果的第一部分涉及到鲁棒解的收敛性，是命题B.1（对于（xn（δ），cn（δ））的一致性）和命题C.1（对于渐近正态性结果（3.7））的直接结果。这个定理的第二部分，即我们现在证明的，描述了当δ很小时，（xn（δ），cn（δ））的极限分布与经验分布xn（0）的极限分布之间的关系。我们首先展示（x（δ） ，c（δ） ）存在并持续可区分，然后，我们使用其t阶条件（3.4）获得（x）的展开式（3.8（δ） ，c（δ） ）和渐近偏差π的表达式（3.9）。（x）的存在性和连续可微性（δ） ，c（δ） ）：我们使用隐函数定理来证明（x）的存在性并确定其光滑性（δ） ，c（δ） ）和一阶条件来推导展开式。轻微滥用符号，letg（δ，x，c）：=g（δ，x，c）g（δ，x，c）:= EP[ψ（x，c）]。（3.2）的一阶条件为（δ，x，c）=0，（c.1）在φ（z）的假设下（见[16]中的定理3.2]）校准分布稳健经验优化模型43凸共轭φ*（ζ） 在ζ=0和s atiesφ附近可连续两次微分*(ζ) = ζ +α2!ζ+o（ζ），（C.2），其中α=φ′（1）。因此，[φ*]′（ζ） =1+αζ+o（ζ）在ζ=0的邻域内连续可微。这意味着，对于每个固定的（x，c），g（δ，x，c）在δ=0的某个邻域中δ连续可微，即g（δ，x，c）=EPh公司xf（x，Y）i-Δφ′′（1）EPhf（x，Y）+cxf（x，Y）i+o（δ）EPhf（x，Y）+ci+o（δ）,还有那个0，x(0), -EP[f（x（0）），Y）]= 0，（C.3），其中x（0）是经验问题的解决方案。

由于f（x，Y）在x中可连续二次微分，g（δ，x，c）在0，x(0), -EP[f（x（0，Y）],andJg，（x，c）（δ，x，c）（0，x(0), -EP[f（x（0，Y）]）≡xg（δ，x，c）cg（δ，x，c）xg（δ，x，c）cg（δ，x，c）（0，x(0), -EP[f（x（0，Y）]）=EP公司[xf（x（0，Y）]00 1是可逆的。根据隐式函数定理（x（δ） ，c（δ） ）存在，并且在开放的八分之一或八分之一区域内持续可区分0，x(0), -EP[f（x（0，Y）], sox公司（δ） =x（0）+πδ+o（δ），（C.4）C(δ) = -EP[f（x（0，Y）]+cδ+o（δ）=-EP[f（x（0），Y）]+O（δ）44 GOTOH，KIM，和LIMin这一带。泰勒级数展开：我们已经有了（C.4）。要计算π，ob从（C.1）thatEPh（φ）开始*)′-δ（f（x（δ） ，Y）+c(δ))xf（x（δ） ，Y）i=EPhxf（x（0），Y）+δxf（x（0），Y）π+o（δ）i-Δφ′′（1）EPhxf（x（0），Y）f（x（0），Y）- EP[f（x（0，Y）]+ o（δ）i=δnepxf（x（0），Y）iπ-φ′′（1）CovPf（x（0），Y），xf（x（0），Y）o+o（δ）=0。π的表达式（3.9）使得δ阶项消失。为了获得V（δ）的表达式，从（C.2）中观察，我们可以将（3.3）写成ψ（x，C）=xf（x，Y）-δφ′′(1)f（x，Y）+cxf（x，Y）+o（δ）f（x，Y）+c+o（δ）≡ψ（x，c）ψ（x，c）.这意味着Jψ，ψ（x，c）的雅可比矩阵xψ。xmψcψxψ。

xmψcψ（十）（δ） ，c(δ)) =xf（x（0），Y）+O（δ）O（δ）xf（x（0），Y）′+O（δ）1hen ceA=EP[-Jψ（x（δ） ，c(δ))] =-EP公司xf（x（0），Y）0-1.+ O（δ），soA-1= -EP公司xf（x（0），Y）-10 1+ O（δ）=A-1′.同样，ψ（x（δ） ，c(δ)) =xf（x（0），Y）f（x（0），Y）-EP[f（x（0，Y）]+ O（δ），结果表明，我们的分析中不需要cis的值，但如果φ（z）是连续可微的三倍，则可以显示c=-φ′′′（1）[φ′′′（1）]VPf（x（0），Y）.分布稳健经验优化模型的校准45soB=EPψ（x）（δ） ，c（δ） ）ψ（x）（δ） ，c(δ))′=副总裁xf（x（0），Y）CovP公司xf（x（0），Y），f（x（0），Y）CovP公司xf（x（0），Y），f（x（0），Y）′副总裁f（x（0），Y）+ O（δ）。V（δ）=A的表达式-1B（A-1） \'现在跟着。附录D.命题证明4.1泰勒级数im-pliesf（x+δ, Yn+1）=f（x，Yn+1）+δ′xf（x，Yn+1）+δtr′xf（x，Yn+1）+ o（δ）。我们通过期望并注意到 Yn+1是独立的。

推导（4.3）首先观察EPf（x+δ, Yn+1）= EP公司f（x，Yn+1）+ 2δEPf（x，Yn+1）EP公司[]′EP公司xf（x，Yn+1）+δn2 trEP公司EP公司′EP公司xf（x，Yn+1）EP公司xf（x，Yn+1）′+2 trEP公司′EP公司f（x，Yn+1）EP公司xf（x，Yn+1）o=EPf（x，Yn+1）+ 2δEPf（x，Yn+1）EP公司[]′EP公司xf（x，Yn+1）+δtr2 EP′nEP公司xf（x，Yn+1）EP公司xf（x，Yn+1）′+ EP公司f（x，Yn+1）EP公司xf（x，Yn+1）o-2副总裁[] EP公司xf（x，Yn+1）EP公司xf（x，Yn+1）′,而对泰勒级数展开式两边的期望值[f（x+δ, Yn+1）]给定seph[f（x+δ, Yn+1）]i=EPh[f（x，Yn+1）]i+2δEP[]′EPhf（x，Yn+1）xf（x，Yn+1）i+δtrEP公司[′]n2 EPxf（x，Yn+1）xf（x，Yn+1）\'+ 2 EPf（x，Yn+1）xf（x，Yn+1）o+ o（δ）。46 GOTOH，KIM和LIMIt现在跟在Vp[f（x+δ）后面, Yn+1）]=VP[f（x，Yn+1）]+2δEP[]′CovP公司f（x，Yn+1），xf（x，Yn+1）+δntrEP公司[′]n2VPxf（x，Yn+1）+ 2 CovPf（x，Yn+1），xf（x，Yn+1）o+2 tr副总裁[] EP公司xf（x，Yn+1）EP公司xf（x，Yn+1）′o+o（δ）。什么时候 是常数，导数的定义意味着（4.4）和VP[f（x+δ）的展开, Yn+1）]可写成（4.3）。附录E.命题4.2的证明我们知道（4.1）中的命题3.2。现在，它遵循命题4.1（带 ≡pξ（0）Z和δ=√n） 那个副总裁f（xn（0），Yn+1）= 副总裁fx个（0）+rξ（0）nZ+oP（1）, Yn+1= 副总裁f（x（0），Yn+1）+√nEPh公司pξ（0）Z′iCovP公司f（x（0），Yn+1），xf（x（0），Yn+1）+第2次EP公司pξ（0）ZZ′pξ（0）′xVP公司f（x（0），Yn+1）+2伏pξ（0）ZEP公司xf（x（0），Yn+1）EP公司xf（x（0），Yn+1）′+ on.注意Z是标准法线，EPpξ（0）ZZ′pξ（0）′= ξ（0），和EPxf（x（0），Yn+1）= 0（定义为x（0），得到（4.9）。经验最优下的预期样本外利润的表达式（4.8）可以用同样的方法推导出来。附录F.最坏情况敏感性考虑概率测度族{Q（δ）：δ≥ 0}定义为（2.7）。

我们首先描述了Q（δ）的性质，然后证明了最坏情况下的灵敏度（2.8）是由Pn下的r向方差给出的。方差和扩展的这种解释（2.6）允许我们将最坏情况下的优化解释为最大化分布稳健经验优化模型的校准47标称分布下的预期回报与最小化模型误判的最坏情况敏感性之间的权衡。为了便于记法，我们表示f=[f，···，fn]≡ [f（x，Y），····，f（x，Yn）]。提案F.1。假设φ（z）满足假设2.1。那么f或δ>0非常小，最坏情况分布q（δ）=[q*（δ） ，···，q*n（δ）]，其中q*i（δ）=qi（c（δ） ，δ）（F.1），其中qi（c，δ）=pni[φ′]-1.δ- 金融机构- c,c（δ） =arg maxcn-δnXi=1pniφ*δ- 金融机构- c- co（F.2）Q（δ）在δ=0的邻域内与Q连续可微*i（δ）=Pni1-δφ′′(1)金融机构- EPn【f】o+o（δ）。（F.3）证明。Letf公司（δ） ：=infQnnXi=1qifi+δnXi=1pniφqipni公司o、 表示拉格朗日（q，c；δ）=nXi=1qifi+δnXi=1pniφqipni公司+ cnXi=1qi- 1..然后（δ） =maxcminqL（q，c；δ）=maxcminqnnXi=1qifi+δnXi=1pniφqipni公司+ cnXi=1qi- 1.o、 式中，第二个等式中的最小值q（c；δ）=arg m inqnnXi=1qifi+δnXi=1pniφqipni公司+ cnXi=1qio=[q（c；δ），····，qn（c；δ）]，48 GOTOH，KIM，和LIMwhereqi（c；δ）=arg Maxqingipniδ- 金融机构- c- φqipni公司o=pni[φ′]-1.δ- 金融机构- c.利用反函数定理，[φ′]-1（ζ）在ζ=0的邻域中连续可微，因为φ′（1）=0且φ′′（1）>0。还要注意，如果z（ζ）=φ-1（ζ），或等效地，φ′（z（ζ））=ζ的解，soφ′（z（ζ））z′（ζ）=1，因此[φ-1] ′（ζ）=φ′（z（ζ））和φ-1（ζ）=1+ζφ′（0）+o（ζ）。（F.4）现在考虑F定义中的外部问题.

观察minqnnxi=1qifi+δnXi=1pniφqipni公司+ cnXi=1qi- 1.o=-δnXi=1pniφ*δ- 金融机构- c- c、 其中φ*（ζ） =maxznζz- φ（z）o（F.5）是φ的凸共轭，外部问题的解是（δ） =arg maxcn-δnXi=1pniφ*δ- 金融机构- c- co.（F.6），因为优化器z（ζ）=[φ′]-在（F.5）的定义中，1（ζ）在ζ=0的高边界中持续变化，因此φ*（ζ） =z（ζ）ζ- φ（z（ζ））和φ*（ζ） 在ζ=0的邻域中可与[φ]微分*]′（ζ） =z′（ζ）ζ+z（ζ）-φ′（z（ζ））z′（ζ）=z′（ζ）ζ - φ′（z（ζ））+ z（ζ）=z（ζ），分布稳健经验优化模型的校准49，其中第二个等式遵循f或定义z（ζ）的一阶条件。这意味着[φ*]′（ζ） 在ζ=0和[φ]附近也是连续可微的*]′′（ζ） =z′（ζ）=φ′（z（ζ））。因此，φ*（ζ） 在ζ=0的邻域中，是两次连续可微的，[φ*]′(0) =φ′-1(0) = 1,[φ*]′′（0）=φ′′（0），soφ*（ζ） =ζ+φ′′（0）ζ+o（ζ）。返回c（δ） ，观察对应于（F.2）arenXi=1pni[φ]的一阶条件*]′δ- 金融机构- c- δ>0时，1=0，（F.7）。或者，我们可以定义（δ，c）：=-φ′′（1）δnnXi=1pni[φ*]′δ- 金融机构- c- 1o，δ>0，EPn[f]+c，δ=0。当δ>0时求解（F.7）w等于求解c（δ） 这样g（δ，c(δ)) = 0. （F.8）g（δ，c）的一个方便性质是，它在δ=0 F或每个c的邻域内是连续的。特别是，对于每个固定的cg（δ，c）=nXi=1pnifi+c+ O（δ）。（F.9）我们还有（δ，c）=（0，-En[f]）是g（δ，c）=0的解。

观察到g（c，δ）在（δ，c）=（0）附近的（δ，c）中是连续可微的，-En【f】），以及cg（0，-EPn[f]）=1，根据隐式函数定理，解c（δ） ，因此（F.7）在δ=0的邻域中可连续微分(0) = -EPn【f】。50 GOTOH、KIM和Lim两种c（δ） 和[φ′]-1（ζ）表示q*由（F.1）定义的i（δ）在δ=0的邻域内是连续可微的。自c起(δ) = -EPn[f]+O（δ），它来自于（f.3）所持有的展开式（f.4）。定理2.2的证明。由（F.3）可知，eq（δ）[F]=nXi=1qi（δ）fi=EPn[F]-Δφ′′（1）nXi=1pni金融机构- EPn【f】fi+o（δ）=EPn[f]-Δφ′′（1）VPn[f]+o（δ），我们的结果如下。附录G.DRO模型约束和惩罚公式之间的关系和δ之间的关系。假设Pn是给定的标称模型。凸对偶意味着约束样本内问题（2.9）的解就是优化问题的解（见（2.10）–（2.11））（xn（），δn（））=arg maxδ≥0，xnminQEQ[f（x，Y）]+δHφ（Q | Pn）-δo=arg maxδ≥0，xnEPnf（x，Y）-δ2φ′′（1）VPnf（x，Y）-δ+o（δ），其中平均方差近似值在（2.6）中给出，当δ较小时适用。Wr iting xn（）和δn（）的顺序为√可以看出，xn（）=xn（0）+s2φ′′（1）VPn[f（xn（0），Y）]πn+o(√），δn（）=s2φ′（1）VPn[f（xn（0），Y）]+o(√），其中xn（0）是样本内问题的SAA解和名义分布pn，Y~ Pn编号≡ [pn，···，pnn]，πn=φ′（1）EPn公司[xf（xn（0），Y）]-1CovPnf（x，Y），xf（xn（0），Y）.分布式稳健经验优化模型的校准51这意味着，与稳健参数δ相对应的阈值约为=VPn[f（xn（0），Y）]2φ′′（1）δ。概率解释。

Hφ（Q | Pn）的分布可以通过从标称分布Pn中自举数据Y，················································yn。这允许我们将in（2.9）解释为1- Hφ（Q | Pn）分布的α量，其中α是pnhhφ（Q | Pn）≤ i≈ 1.- α. （G.1）从我们在第7节中的示例中可以看出，很难估计相关的质量1- 当δ或位于稳健均值方差前沿的期望部分时，模拟得到的α。如果仍希望估计特定δ或的α，我们可以使用φ-发散的渐近性质，如果φ（z）是充分正则的，并且数据生成机制P的支持是有限的（见[4]）。在这些条件下，2nφ′（1）Hφ（Q | Pn）~ χn-1（n的χ分布- 如果和α的值为2n=χn，则（G.1）满足-1, 1-α、 1号- χn的α分位数-1、如果我们的目标是“优化”样本外平均值和奖励敏感度之间的权衡，那么似乎没有什么理由通过一致性水平α来计算和/或解释不确定性集。