统计性质的启发复杂性

2022-5-8 10:27:15

拉斐尔·弗朗吉洛统计性质的启发复杂性科罗拉多大学博尔德分校计算机科学系美国科罗拉多州博尔德1111工程博士80309raf@colorado.eduand伊利诺伊大学芝加哥分校计算机科学系IAN A.Kashd 851 S.Morgan（M/C 152），伊利诺伊州芝加哥SEO 1120室，60607-7053iankash@uic.eduSummaryA属性，或统计函数，如果它使某些损失函数的预期损失最小化，则称为可导出的。研究哪些属性是可引出的，有助于揭示点估计和经验风险最小化的能力和局限性。虽然最近的研究询问哪些属性是可引出的，但我们主张提出一个更微妙的问题：间接引出给定属性需要多少维度？这个数字被称为属性的elicitationcomplexity。我们为启发复杂性的一般理论奠定了基础，包括关于启发复杂性如何表现的几个基本结果，以及感兴趣的标准属性的复杂性。在此基础上，我们的主要结果给出了广义贝叶斯风险的严格复杂性界限。我们将这些结果应用于几个感兴趣的属性，包括方差、熵、范数和几类金融风险度量。我们以讨论和开放的方向结束。关键词：启发性；评分规则；损失函数；经验风险最小化；点预测；风险度量。1.简介损失函数在整个统计和机器学习过程中使用，从估计和模型选择，到预测排名和比较（Gneiting&Raftery，2007；Gneiting，2011）。特别是，通过普遍存在的经验风险最小化范式，选择了一个模型来最小化数据集上的平均损失函数，可能是通过正则化。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:27:18

为了理解经验风险最小化的渐近行为，为了更广泛地理解选择损失函数时的设计权衡，我们可能会问损失本身具有什么性质。在这里，属性是一个函数，为每个分布分配一个值或值向量，如果对于每个分布，属性值唯一地最小化了预期损失，那么损失就会产生一个属性。因此，研究哪些属性是可引出的，可以通过经验风险最小化来解决哪些统计数据是可计算的（Steinwart&Christmann，2008；Steinwart等人，2014；Agarwal&Agarwal，2015；Frongillo&Kash，2015）。关于财产启发的文献来源于统计学（Savage，1971年；Osband，1985年；Gneiting&Raftery，2007年；Gneiting，2011年），最近又扩展到机器学习（Abernethy&Frongillo，2012年；Steinwart等人，2014年；Agarwal&Agarwal，2015年；Frongillo&Kash，2015年）、经济学（Lambert，2018年；Lambert&Shoham，2009年），以及融资（Emmer等人，2015年；Bellini&Bignozzi，2015年；Ziegel，2016年；Wang&Ziegel，2015年；Fissler&Ziegel，2016年）。由Savage（1971）发起的R.Frongillo和I.A.Kashin的一系列工作2着眼于表征问题：哪些损失导致分布的平均值，或者更一般地说是向量值随机变量的期望值（Banerjeet al.，2005；Frongillo&Kash，2015），以及哪些实值属性是可引发的（Lambert et al.，2008；Steinwart et al.，2014；Lambert，2018）。除特殊情况外，可诱导的载体价值属性的表征仍处于开放状态，只有部分进展（Frongillo&Kash，2015；Agarwal&Agarwal，2015；Fissler&Ziegel，2016，2019b）。最近一项金融领域的平行研究试图了解，在用于帮助监管金融机构风险的几种金融风险措施中，哪些是可以引出的；查阅

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:27:22

以上参考文献。通常情况下，这些研究得出的结论是，风险度量是无法得出的（Gneiting，2011；Wang&Ziegel，2015；Wang&Wei，2018），但值得注意的例外是广义分位数，例如风险价值和预期值，以及预期效用（Ziegel，2016；Bellini&Bignozzi，2015）。在所有关于财产启发的文献中，有一个问题是核心的：哪些财产是可以启发的？然而，很明显，如果首先使用标准的适当评分规则得出整个分布，那么所有属性都是“间接”可得出的（Gneiting&Raftery，2007）。因此，如果发现非统计属性是不可导出的，例如方差，而不是放弃itone，则可能会询问需要多少维度才能导出它。因此，在目前的工作中，我们提出了一个更微妙的问题：属性有多容易引出？具体而言，我们对Lambert等人（2008年）提出的启发复杂性的概念进行了调整和推广，该概念捕捉到了人们在将相关财产的经验风险最小化时需要多少预测维度。特别是，对于给定的感兴趣的属性，启发复杂性的上界通常会给出统计上一致的替代损失。上界和下界都涉及间接启发所需的中间假设范围的维度；见§3·7。我们的主要结果给出了一大类风险度量的启发复杂性的严格界限。这一结果深受Fissler和Ziegel（2016）最近工作的启发，表明支持k的spectralrisk度量的启发复杂性最多为k+1。光谱风险度量，包括条件风险价值（CVaR），也称为预期短缺，是金融界正在考虑的度量之一。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:27:25

他们的结果表明，虽然在经典意义上不可激发，但光谱风险度量的激发复杂性仍然很低，henceone可以为其开发合理的回归和“回溯测试”程序（Fissler等人，2016年；Rockafellar&Royset，2018年）。我们的结果扩展到这些和许多其他风险度量（§3·4–3·6），通常也提供了匹配的复杂性下限。其他相关工作出现在机器学习中，给出了线性和凸可诱导属性的诱导复杂性的界限（Ramaswamy等人，2013年；Agarwal&Agarwal，2015年）；参见§2·4、§6。我们的贡献如下。我们介绍了关于给定属性类别的启发复杂性的一般定义，该定义足够灵活，可以捕捉文献中以前的定义，但也带来了一些优势（§2·2；§E·1）。我们的主要结果给出了广义贝叶斯风险的启发式复杂性的匹配上下界，即作为基础分布函数的最优预期损失（§2·3）。然后，我们将这一结果应用于几个感兴趣的设置，包括熵和分布规范、金融风险度量和经验风险最小化（§3）。我们通过建立期望和分位数等几个基本性质的界限，以及关于激发复杂度在各种操作中如何表现的结果，为更一般的激发复杂度研究奠定了基础（§4）。然后我们证明我们的主要结果（§5），并讨论各种开放性问题（§6）。设置和主要结果2·1。初步假设Y是一组结果，P是Y上的一组凸概率测度。关于凸性假设何时可以取消，请参见§E·5。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-5-8 10:27:28

启发的目的是了解p的分布∈ P、具体地说，一些函数或性质Γ（P），如均值或方差，通过最小化损失函数得出统计性质3的复杂性。当Y=Rk时，我们将假设Borelσ-代数，当Y是泛型时，σ-代数将保持隐式，但相关函数需要是可测的和P-可积的，也就是说，对于每个P∈ P.自始至终，我们将使用Y作为代表结果本身的随机变量，即Y:Y→ Y、 Y 7→ y、让X代表任意随机变量。备注1。当Y=R时，在许多情况下讨论Y形式的随机变量的性质更为自然：Ohm → Y、比如Γ（Y）=E[Y]，现在在哪里Ohm 结果集是否被赋予了一些固定的基本度量u，从而消除了对p的需要。在大多数示例中，例如本文讨论的所有风险度量，Γ仅通过其定律依赖于Y，在这种情况下，设计仅依赖于Y=Y（ω）的损失函数也很自然，而不是允许它们直接访问ω∈ Ohm. 因此，在不失去普遍性的情况下，我们可以定义Γ（p）Γ（Y），其中p是Y的定律，让结果集再次为Y，Y是身份图；e、 g.Γ（p）=Ep[Y]。这种转换是本文中符号背后的推理。有了符号，我们现在可以介绍我们的中心研究对象，一个属性。定义1。设R是一组非空的报告。属性是函数Γ：P→ R、它将所需的报告值关联到每个分布。水平集Γr.={p∈ P | r=Γ（P）}是与报告值r相对应的分布P的集合∈ R.集值性质是函数Γ：P→ 2R，其中2R表示R的功率集。给定一个性质Γ，我们感兴趣的是一个损失函数的存在性，其在p下的期望值被Γ（p）最小化。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2022-5-8 10:27:31

损失函数可以被认为是激励风险中性人根据其个人信念揭示财产的正确价值。定义2。损失函数，或简称损失，是一个函数L:R×Y→ 使得L（R，·）对所有R都是P-可积的∈ R.损失L引出属性Γ：P→ R如果全部p∈ P、 {Γ（P）}=argminrL（r，P），其中L（r，P）。=Ep[L（r，Y）]。如果某项财产因某种损失而被征用，则该财产是可征用的。如果weinstead有Γ（p）∈ argminrL（r，p）表示所有p∈ P、我们说L弱地引出Γ。例如，当Y=R时，平均值Γ（p）=Ep[Y]可通过平方损失L（R，Y）=（R）得出- y），前提是相关预期明确。虽然常数损失函数弱地导出所有属性，因此弱的可导出性是微不足道的，但讨论弱限制属性的损失集是有用的，如定理3所示。当Γ是集值的时候，我们说如果Γ（p）=argminrL（r，p），则L导出Γ，即预期损失的最小值集由Γ给出（Frongillo&Kash，2015）。例如，中位数可以设定值，例如对于具有断开支持的分布，由L（r，y）=| r得出- y |在上述意义上。我们没有开发组成集值映射所需的符号来定义这些一般属性的引出复杂性，而是仅在需要时才引用集值属性，尤其是在定理3和§E·3中，否则假设为单值属性。2·2. 启发复杂性为了激发启发复杂性，考虑众所周知的启发性必要条件，即属性的水平集是凸的。提案1（Osband（1985））。如果Γ是可导的，则水平集Γ对所有r都是稀有凸的∈Γ（P）。这种情况并不充分；例如，该模式具有凸水平集，但不可导出（Heinrich，2013）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-5-8 10:27:36

如图1（L，R）所示，虽然平均值Γ（p）=Ep[Y]具有凸水平集，但方差Var（p）=Ep[（Y- Ep[Y]）]没有，因此也不可引出（Osband，1985；Lambert，2018）。然而，请注意，写入Var（p）=Ep[Y]- Ep[Y]建议采用以下方法：首先导出属性^Γ（p）=（Ep[Y]，Ep[Y]），然后使用此信息计算R.Frongillo和I.A.Kashy=-1 y=1 y=0Γ0.4Γ-0.4（L）y=-1 y=1 y=0Γ0.16（M）y=-1 y=1y=0Γ0.8（R）图1：平均值、平方平均值和方差的水平集。对于每一个，我们使用结果空间Y={-1,0,1}，并描述投影到二维的概率单纯形。因此，pr[Y=0]=1的点分布p位于三角形的顶点，均匀分布在中心。平方平均和方差是不可导出的，这可以从它们的非凸水平集得到证明。（五十） Γ（p）=Ep[Y]的水平集。（M） Γ（p）=（Ep[Y]）的水平集。当r>0时，每个水平集r={p:p=r}由两条不相交的线段组成，对应于集合{p:Ep[Y]=√r} 和{p:Ep[Y]=-√r} 。自然连接函数f（r）=r来自平均值，因此Γ（p）=（Ep[Y]）=f（Ep[Y]）可以被认为是E[Y]的水平集的组合，以形成E[Y]的水平集。（R） Γ（p）=Var（p）=Ep[Y]的水平集- Ep[Y]，它们是非凸的。Var（p）。众所周知（Savage，1971年；Gneiting，2011年），这样一个^Γ可以作为向量值随机变量φ（y）=（y，y）的期望而引出，例如使用L（r，y）=kr- φ（y）k.上述方差示例提出了间接启发的概念，我们首先启发“中间”属性^Γ，然后使用结果值计算所需属性Γ。我们说一个属性是k-可导的，如果它可以作为k维可导属性的函数得到。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:27:39

我们允许k是有限的，我们写下∞ 而不是更精确的红衣主教. 一个属性的启发复杂度就是它是k-可启发的所需的最小维数k。只有当中间属性仅限于某些类别的属性C（如§2·4中定义的属性）时，这两个定义才有意义，否则基本上所有属性都是1-可引出的；见§4中的备注4。有关文献中其他相关定义的讨论，请参见§E·1。定义3。为了k∈ N∪ {∞}, 设Ek（P）表示所有可引出性质Γ：P的类→Rk和E（P）=Sk∈N∪{∞}埃克（P）。当P是隐式的时，我们只需写出E的定义4。设C是一类性质，k∈ N∪ {∞}. A性质Γ：P→ 当存在中间性质^Γ时，关于C的Ris k-可导∈ C∩ Ek（P）和地图f:Rk→ R使得Γ=fo^Γ. Γis elicC（Γ）=min{k:Γ相对于C}是k-可诱导的。如果C中不存在适合于Γ的属性^Γ，则其启发复杂性将不确定。为了说明定义，从上面的方差示例中，我们有Γ=Var，^Γ：p 7→ （Ep[Y]，Ep[Y]）∈ R、 f:（R，R）7→ R- r、因此，我们得出结论，就线性性质类别而言，Var是2-可导出的，即我们在§2·4中正式定义的预期值。特别是elicClin（Var）≤ 2，表示启发复杂性最多为2。备注2。如果一个属性是不可引出的，它仍然可以是1-可引出的，因此我们还没有为任何C显示elicC（Var）=2。换句话说，Γ/∈ E（P）并不意味着elicC（Γ）≥ 2.作为一个简单的例子，考虑性质Γ（p）=（Ep[Y]），其中Y={-1, 0, 1}. 显然，Γ的水平集不是凸的：Γ（（1,0,0））=Γ（（0,0,1））=1，但Γ（（a,0,1））- a））<1表示所有0<a<1；见图1（M）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:27:43

然而，Γ很容易通过^Γ（p）=Ep[Y]间接引出∈ R、用单纯形f（R）=R，因此我们得出elicC（Γ）=1∈ C、例如，C=统计特性的省略复杂性5线性特性集，即预期值。为了显示elicCwe的下界，我们需要更多的工具，比如下面的主要定理；有关差异的应用，请参见§3·2。2·3. 主要结果我们现在转到我们的主要结果，关于可以写成另一损失函数的Bayes Risk的性质，作为分布的函数的最小可能预期损失。定义5。给定损失函数L:A×Y→ R对于某些报告集A，被定义为L（p）：=infa的贝叶斯风险∈AL（a，p）。例如，方差是损失平方L（r，y）=（r）的贝叶斯风险- y），因为我们有L（p）=minr∈代表[（r）- Y）]=Ep[（Ep[Y]- Y）]=Var（p）。我们的主要结果给出了贝叶斯风险的启发复杂性的一个严格界。给定一个lossL，定理3说明它的Bayes风险可以与它所引出的性质Γ联合引出，而elicC（L）≤ 只要对（L，Γ）是C的一个元素，elicC（Γ）+1。定理4给出了一个较低的界：对于所有C，我们都有elicC（L）≥ elicC（Γ）。有关证据，请参见§5。定理1。让L:Rk×Y→ R是引起Γ：P的损失函数→ Rk，k∈ N∪ {∞}, 我将承担它的Bayes风险。If（L，Γ）∈ C和elicC（Γ）=k，然后elicC（L）∈ {k，k+1}。此外，lossL*（r，a，y）=L（a，y）+H（r）+H（r）（L（a，y）- r）（1）引出{L，Γ}，其中h:r→ R+是任何正的严格递减函数，H（R）=Rrh（x）dx，并且Lis是任何其他弱引起Γ的损失。人们可以轻易地取消Γ是函数的要求，并允许Γ（p）成为损失的最小值（Frongillo&Kash，2014）；我们将在例3·4中使用此附加功率。定理1有意义的应用需要选择合适的C类。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:27:46

一般来说，条件（L，Γ）∈ 对于充分允许的C，C为真，但条件elicC（Γ）=k仅适用于充分限制的C和充分丰富的P。因此，用相同的C满足这两个条件需要对手头的应用程序有一些了解。在讨论定理1的几个应用之前，我们首先介绍我们将关注的各种属性类C，并证明我们可以将所有这些类的下界收紧到k+1。2·4. 属性的类别正如我们在后面的备注4中所描述的，对C有一些限制是必要的，否则所有属性都将具有复杂性1。我们在这篇论文中重点讨论了C语言的四种自然选择，所有这些都是机器学习文献中感兴趣的，参见Agarwal&Agarwal（2015），并在§6中讨论了其他类别。简而言之，从限制性最强到限制性最弱，我们考虑的四类属性是：线性/期望值（Clin）、强凸损失（Cstrong）、光滑严格凸损失（Cstrict）和可识别（I）。所需的classC可能取决于应用程序；e、例如，强凸性导致了有利的优化率和经验风险最小化的推广边界。我们现在正式定义这些类，从可识别性的概念开始。我们从命题1中看到，可导性质具有凸水平集。第一类可识别属性满足一个更强的条件：水平集不仅必须是凸的，而且必须是线性子空间与P的交集。这些线性子空间由识别函数编码（Osband，1985；Lambert et al.，2008；Steinwart et al.，2014）。我们采用的定义对应于Steinwart等人（2014）的“强”识别功能。定义6。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:27:49

为了k∈ N∪ {∞}, P-可积函数V:R×Y→ RK是Γ：P的识别函数→ Rk，或标识Γ，如果适用于所有r∈ Γ（P），P∈ Γr<==> V（r，p）=0∈ Rk，而上面的L（r，p）我们写V（r，p）Ep[V（r，Y）]。Γ是可识别的，如果有人识别它。定义7。为了k∈ N∪ {∞}, 让Ik（P）表示所有可识别属性Γ：P的类别→ Rk和I（P）=Sk∈N∪{∞}Ik（P）。当P是隐式的时，我们只需写出I.6r.Frongillo和I.A.KashFor，例如V（R，y）=y- r确定平均值Γ（p）=Ep[Y]。更一般地说，某些φ：R的期望值Γ（p）=Ep[φ（Y）]→ Rkhas识别函数V（r，y）=r- φ（y）。类似地，当单值时，α分位数qα（p），α∈ （0，1），由V（r，y）=1Y确定≤R- α. 当Γ为集值时，我们可以扩展定义7，其中Γ（P）表示所有P的Γ（P）的并集∈ P.我们现在定义了其他三类房产。回想一下，一个可微分函数G:a→ R是u-强凸的，如果对于所有x，y∈ A我们有ukx- yk≤ (G（x）- G（y））·（x- y）。定义8。设Clin表示有界线性性质的类别，即形式为Γ：P7的性质→ 关于某些P-可积φ：Y的Ep[φ（Y）]→ Rk，k∈ N∪ {∞}, 式中R:=Γ（P）这里有很多布景。当k=∞, 我们使用k·k和Fr′echet导数；参见§A.让Cstrictdenote成为有界性质类Γ：P→ R由损失函数导出，该函数在第一个参数中是可微分的、Lipschitz连续的、严格凸的。全班同学都很兴奋 Cstrictfurther要求损失在第一个论点中是强凸的。正如上面提到的，我们的四个类是嵌套的，因此每个复杂度的下限是下一个。我们只有Cstrict 我是因为我们要求在科学上有差异；消除这一限制并研究一般的凸损耗是一个重要的未来方向（§6）。提议2。我们有Clin Cstrong 严格的我

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:27:52

特别是，对于所有属性Γ，我们有elicI（Γ）≤ ElicCrict（Γ）≤ 埃利克斯特朗（Γ）≤ 伊莱克林（Γ）。尽管在k=∞. 在应用我们的结果时，我们将广泛使用这些关系。特别是，像I这样限制较少的类的下界更强，而像Clin这样限制更严格的类的上界更强。此外，正如我们将在§5中证明的那样，我们所考虑的所有类别都承认elicC（L）的下限更紧≥ k+1，根据定理1给出等式。这个更紧的下界和更慢的下界依赖于P足够丰富。以下提供了一个有效的条件。条件1。让我们∈ Ik（P）和r∈ Γ（P）被给出。存在一些识别函数v:Γ（P）×Y→ 使得0∈ int{V（r，p）：p∈ P} 。条件1是Fissler和Ziegel（2016）假设V1的较弱版本，因为我们的假设适用于特定的r，而他们的假设在Γ（P）的内部使用了r的通用量词。正如他们通过大量例子指出的那样，这种情况在关于启发的文献中经常出现。在这个条件下，我们可以说明更紧的界限。提议3。让L:Rk×Y→ R是一种引起Γ的损失∈ Ik，k∈ N.如果Γ满足某些r的条件1∈ Γ（P），L在Γr上是非常数，那么elicI（L）=k+1。如果另外（L，Γ）∈ C代表一些C 一、然后elicC（L）=k+1.3。示例和应用3·1。我们现在给出我们定理的几个应用。有几个上界是新的，以及所有大于1的下界。除非另有说明，否则我们将取Y=R。在每种设置中，我们也会做出一些标准的规律性假设，为了便于解释，我们会抑制这些假设；例如，对于方差和方差，我们假设有限的第一和第二时刻。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:27:56

所有应用程序也要求P在某种意义上“足够丰富”，通常是为了建立elicC（Γ）=k，这通常是一个轻微的限制。例如，在许多情况下，我们的结果适用于任何包含高斯分布的所有有限混合物集GMIX的P。我们将把这些丰富性条件推迟到下一节，特别是条件2和3，并参考使用这些定义建立基本复杂性界限的结果，如引理7和6。关于省略的证明和其他细节，请参见附录B.统计特性的启发复杂性73·2。方差在定义4之后，我们注意到方差是一阶矩和二阶矩的函数，二阶矩都是线性性质，因此我们得出了elicClin（Var）≤ 2.作为一个热身，让我们看看如何应用你的主要定理来恢复这个语句以及匹配的下限。如上所述，我们可以将方差视为损失平方L（r，y）=（r）的贝叶斯风险- y），这当然引出了平均值。由于均值是可识别的，且方差不只是均值的函数，命题3给出了elicI（Var）=2。此外，我们可以直接建立elicClin（Var）≤ 2.让^Γ（p）={Ep[Y]，Ep[Y]}成为第一和第二时刻，我们有^Γ∈ 和Var=fo^Γ代表f:（r，r）7→ R- r、命题2给出了ClinandI之间任何C类的elicC（Var）=2，包括所有C类∈ {Clin，Cstrong，Cstrict，I}。推论1。设P包含Gmix，或任何一组分布，使得（i）条件1保持平均值Γ：p7→ Ep[Y]和一些r∈ R、和（ii）有两种分布，其平均R方差不同。然后elicC（Var）=2表示所有临床 C I.通过方差，我们可以观察到定理1并不总是给出损失函数的完整特征，从而引出（L，Γ）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:27:59

对于（Var，E[Y]），而定理1产生了损失，如*（（r，a，y）=e-r（（a）- y）- r）- E-r、有一些损失无法用表（1）表示。也许最自然的例子是，L*（（r，a），y）=（a）- y） +（r+a）- y），（2）通过应用可逆链接函数（m，m）7给出→ （m，m- m）损失^L（（m，m），y）=（m）- y） +（m）- y），由此引出上面的^Γ。最后，一个人可能会被诱惑去嵌套平方损失L*（（r，a），y）=（a）- y）- r），这与等式（2）相似，但即使在移除（a）之后- y）由于（a）的系数- y）这是负面的。3·3. 熵和范数为了证明我们的框架能够证明某些感兴趣的属性本质上很难引出，可以考虑引出一个分布的熵或范数。两者都被用作信息或不一致性的度量，并以其相对形式作为距离的度量。我们发现，它们具有最大的启发复杂性，这意味着没有比首先启发完整分布更好的方法来证明它们。这一结果是对属性的启发复杂性进行更一般化描述的结果，这种复杂性可以写成导致线性属性（即期望）的损失的贝叶斯风险。熵的概念，作为衡量无序性、随机性、信息等的标准，出现在整个科学领域。作为Y=R上的分布函数，允许连续密度p，一些标准示例包括香农熵H（p）=-RYp（y）log p（y）dy，Tsallis/Havrda–Charv'at熵HHC（p）=1-α(1 -RYp（y）αdy）表示α6=1，且R′enyi entropyHR（p）=1-α的αlog（RYp（y）αdy）≥ 0, α 6= 1. 每一个凹熵函数也会产生一个相对其他分布q的相应熵，最常见的例子是Kullback–Leibler散度DKL（pkq）=R∞-∞p（x）logp（x）q（x）dx。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:28:02

类似地，分布的范数也是普遍存在的，例如β>0的标准kpkβ=（RYp（y）βdy）1/β，并以相关形式用于测量与其他分布q的距离∞, 我们简单地用和替换积分，使H（p）=-Py∈Yp（y）对数p（y）和kpkβ=（Py∈Yp（y）β）1/β。本质上，所有这些熵和范数都具有最大的启发复杂性，很难像分布本身一样进行启发，即性质Γid:p7→ p、根据正确评分规则（Gneiting&Raftery，2007）中的标准结果，任何严格凹函数G:p→ R是某些严格适当损失lg的Bayes风险L（p）=EpLG（p，Y），由此引出Γid。例如，香农熵是对数损失的Bayes风险，L（p，Y）=- logp（y），由此引出Γid。此外，在适当的丰富度条件下，我们得到elicC（Γid）=∞ 为了所有的临床 C 引理7的I，orelicC（Γid）=|Y |- 1当Y是有限集时。最后，因为显然G=Go Γid，从定理4中得出的主要下界的结果，给出了所有C.8 R.Frongillo和I.A.KashCorollary 2的elicC（L）=elicC（Γid）。让C满足Clin C 一、让G:P→ R必须是严格凸的。ThenelicC（G）=elicC（Γid）。如果| Y |∞ P是概率单纯形，elicC（G）=Y |- 1.如果Y=Rand P是满足适当丰富度条件的Lebesgue密度的凸族，如图7所示，则elicC（G）=∞.当我们选择使其严格凹或凸的参数时，推论2适用于上述熵和范数，即HHC为α<1，HR为α6=1，β>1（Rao，1984）。其结果推广到任何严格凸函数的期望值，如§C·3所述。关于多观测损失的相关讨论，另见§E·1（Casalaina Martin等人，2017年）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:28:07

预期缺口、光谱风险度量和风险范围值我们的结果在贝叶斯风险的启发复杂性方面的一个重要应用是各种金融风险度量的合理性。最流行的金融风险度量方法之一是预期缺口ESα：P→ R、也称为条件风险价值（CVaR）或平均风险价值（AVaR），我们定义如下：；参考F¨ollmer&Weber（2015，公式（18）），Rockafellar&Uryasev（2013，公式（3.21））。ESα（p）=infz∈REpα（z）- Y）1z≥Y- Z= infz∈REpα（z）- Y）（1z≥Y- α) - Y. （3）我们假设Y=R+，非负实，并限制α∈ (0, 1); α=1见下文。尽管可诱导性对金融监管很重要（Emmer等人，2015；Fissler等人，2016），但ESα是不可诱导的（Gneiting，2011）。然而，最近Fissler和Ziegel（2016）证明，elicI（ESα）≤ 2.他们还考虑了更广泛的光谱风险度量，可以表示为ρu（p）=R（0,1）ESα（p）du（α），其中u是（0,1）上的概率度量；参见F–ollmer&Weber（2015年，公式（36））。在有限支持的情况下，u=Pki=1βiδαi，对于不同的点分布δαi，βi>0，我们可以使用上述公式重写ρu：ρu（p）=kXi=1βiESαi（p）=infz∈Rk（Ep“kXi=1βiαi（zi- Y）（1zi≥Y- αi）- Y#）。（4） Fissler和Ziegel然后得出elicI（ρu）≤ k+1。我们展示了如何恢复这些结果以及匹配下限。设pq是R上的概率测度集，单值分位数在（0，1）范围内，即支持的onan区间，其CDF在该区间上严格增加。众所周知，式（4）中的最小值由k个不同的分位数qα（p）实现，qαk（p）。因此，我们可以将ρu表示为贝叶斯风险；特别是，ρu（p）=L（p），对于给定的损耗L:Rk×R+，byL（z，y）=kXi=1βiαi（zi）- y）（1字≥Y- αi）- y，（5）由此引出Γ（p）={qα（p），…，qαk（p）}。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:28:10

由于Γ可以通过对P的假设来识别，当P足够丰富时，我们有elicI（Γ）=k，如引理6中所示，命题3给出了elicI（ρu）=k+1。特别地，性质{ρu，qα，…，qαk}是可导出的。此外，在§B·3中，我们证明了定理1中的损失家族与Fissler和Ziegel（2016）的特征一致。推论3。让P Pqbe非常丰富，如引理6中所述，并包含所有帕累托分布的混合物，或任何一组分布，其中给定分位数向量qα（p）至少有两个可能的ρu值，qαk（p）。然后elicI（ρu）=k+1。与前面的例子不同，这里我们只有当C=I时才有一个紧的结果，而我们有elicc（ρu）≥ k+1表示任何C 一、包括Cstrict、Cstrong和Clin类，上界lc（ρu）≤ 在这四个类中，k+1仅适用于C=I。这种差异的原因很简单，就是定理1中的损失不是严格凸的，因此条件（ρu，Γ）∈ C不是为C建立的 Cstrict。统计特性的启发复杂性9注3。当α=1时，我们有ES（p）=Ep[-Y]，因此elicI（ρu）=1表示u（{1}）=1。此外，当u（{1}）∈ （0，1），我们简单地用L（z，y）=Pk替换等式（5）中的损失-1i=1βiαi（zi-y）（1字≥Y- αi）- （1+βk）y，当u（{1}）>0时产生elicI（ρu）=k的界，而当u（{1}）=0时产生toelicI（ρu）=k+1的界；参见Fissler&Ziegel（2016，推论5.4（ii））。最后，与我们的工作同时，Fissler和Ziegel（2019a）给出了范围值atRisk（RVaR）的一个结果，这促使我们对上界定理3进行了某种推广。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:28:13

考虑到VaR和ES之间的折衷，对于0<α<β<1，RVaRα，β（p）：=β，RVaR定义如下：- αZβαVaRλ（p）dλ=βESβ（p）- αESα（p）β- α、（6）当右手边被定义时，第二个等式成立（Fissler&Ziegel，2019a）。如上所述，虽然ES是一种Bayes风险，但表（6）与Bayes风险不同，因此表1不适用。上面关于ES的复杂性的讨论，以及下面关于elicC的次可加性的引理2，仍然给出了elicI（RVaRα，β）≤ elicI（ESα）+elicI（ESβ）=4，作者注意到这一点已在实践中得到观察和使用；具体地说，四倍体（VaRα，VaRβ，ESα，ESβ）是可以引出的。作者通过证明（VaRα，VaRβ，RVaRα，β）是可诱导的，从而改进了这种复杂性，因此elicI（RVaRα，β）≤ 3.参见Wang and Wei（2018）在符号Choquet积分的更广泛背景下对该结果的回顾。这个有趣的例子给出了定理1上界的一个推广：贝叶斯风险的线性组合以及相应的性质是可导出的。证明（§B·1）采用了定理1和附加项，以解释可能的负系数。定理2。每一次我∈ {1，…，m}让李：Rki×Y→ R是引起Γi:P的损失→ Rki和Bayes risk Li。对于αi，设γ（p）=Pmi=1αiLi（p）∈ R\\{0}。那么{γ，Γ，…，Γm}是可引出的。特别地，如果{γ，Γ，…，Γm}∈ C、 elicC（γ）≤Pmi=1ki+1。回到RVaR，我们有Γ=VaRα，L=ESα，Γ=VaRβ，L=ESβ，取α=α/（α）- β） <0且α=β/（β）- α) > 0. 定理2随后恢复了（VaRα，VaRβ，RVaRα，β）和elicI（RVaRα，β）的可引出性≤ 3.此外，损失函数的范围（§B·1，§B·3）与Fissler和Ziegel（2019a）的发现相匹配。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:28:17

然而，与我们的其他例子不同，目前尚不清楚如何证明RVaR或其他贝叶斯风险线性组合的复杂性下限；这是未来工作的一个有趣方向。3·5. 一种新的风险度量：方差τ-expectile，表示为μτ，是Newey和Powell（1987）引入的一种广义分位数，定义为方程Ep[|1x]的解x≥Y- τ|（x）- Y）]=0，其中τ∈ （0，1），这也显示了μτ∈ I.这里我们提出了τ-方差，这是一种类似于τ-期望值的非对称类方差度量：正如平均值是方程Ep[x]的解x=u一样- Y]=0，方差为Var（p）=Ep[（u- Y）]，我们通过Varτ（p）=2Ep来定义τ-方差Varτ|1uτ≥Y- τ |(uτ- Y）. 由于期望值可以被认为是均值和分位数之间的折衷，方差可以被认为是由τ=0.5恢复的方差和“超分位数”方差之间的折衷；见§3.4。因此，方差可以作为一种新的可处理的风险度量方法来应用。（在最后准备发表本文的过程中，我们了解到，韦虎和郑振龙之前在未发表的作品中提出了同样的概念，称之为“变体”。）众所周知，μτ可以表示为非对称最小二乘问题的极小值：损失L（x，y）=1x≥Y- τ|（x）- y）引出τ（Newey&Powell，1987；Gneiting，2011）。因此，由于方差实际上是均值的Bayes风险，因此τ-期望值的τ-方差也是：τμ（p）=argminx∈R2Ep|1x≥Y- τ|（x）- Y）Varτ（p）=minx∈R2Ep|1x≥Y- τ|（x）- Y）.10 R.Frongillo和I.A.KashWe现在看到{uτ，Varτ}对可由定理1导出，并作为uτ∈ 我们从命题3中得到了关于I的紧复杂度界。此外，如果Y是有界的，我们有{uτ，Varτ}∈ CST来自下面的命题7，它给出了损失L*在等式中。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:28:21

（1）可以认为是强凸的；在这种情况下，我们对CstRong和CstRictas有严格的界限。完整证据见§B·4。推论4。设P包含Gmix，或任何一组分布，使得（i）条件1适用于τ-期望值和一些r∈ R、（ii）至少有两个分布具有τ-期望值，但τ-方差不同。然后elicI（Varτ）=2。如果你不喜欢 R是有界的，因此排除了Gmix，然后对于所有满足Cst的C，elicC（Varτ）=2 C I.更一般地说，Herrmann等人（2018年）引入了多元预期。观察到单变量非对称最小二乘可以写成L（x，y）=y- x |（| y- x |+（2τ）- 1）（y）- x）），他们通过用k·k和2τ替换|·|，将这种损失推广到更高的维度- 1现在是开放单位球中的任意向量，就像-1 < 2τ - 1 < 1. 这个损失的最小值是多元期望值u（k）τ（p），其中k是向量空间的维数。我们可以分析确定我们的多元变量；该对如下所示，u（k）τ（p）=argminx∈Rk2Ep[kY- xk（肯塔基州）- xk+hτ，Y- xi）]（7）Var（k）τ（p）=minx∈Rk2Ep[kY- xk（肯塔基州）- xk+hτ，Y- xi）]，（8）现在Y在哪里∈ Rk和τ∈ Rk是开放单位球中的向量，即kτk<1。我们再次得到了一个严格的复杂度界，就像在单变量情况下一样，对于I无条件成立，当Y有界时，对于cstric和cstrong也成立。推论5。设P包含Gmix或任何一组分布，使得（i）条件1适用于u（k）τ和一些r∈ Rk，和（ii）至少有两个分布p，p∈ P与u（k）τ（P）=u（k）τ（P）=r，但Var（k）τ（P）6=Var（k）τ（P）。然后elicI（Var（k）τ）=k+1。如果你不喜欢R是有界的，因此排除了Gmix，然后对于所有C和Cstrong C I.3.6。其他风险度量金融和工程领域的文献中也出现了一些其他风险度量。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:28:24

例如，考虑Rockafelland Uryasev（2013）的“风险四边形”所产生的广义风险度量，其由风险R、偏差D、误差E和统计量S之间的以下关系给出，所有函数从随机变量到实数：R（X）=minc∈R{c+E（X）- c） }，D（X）=minc∈R{E（X）- c） }，S（X）=argminc∈R{E（X）- c）哦。为E固定一个特定的形式，然后将其他三个固定在一起。我们的结果很容易应用于期望四边形情形，其中E（X）=E[E（X）]对于某些E:R→ 这里我们把R和d看作X的分布函数，这在这里是可能的，因为当E是期望类型时，它们都是定律不变量；见§2。在适当的条件下，如果S是非常数且可识别的，命题3则意味着elicI（R）=elicI（D）=2。这句话涵盖了他们的几个例子，例如截断平均值、log exp和基于速率的。除此之外，作者给出了一个混合定理，其中他们考虑了d（X）=minc∈Rmb，。。，bk∈R（kXi=1λiEi（X- C- bi）XiλiBi=0）=最小值，。。，bk∈R（kXi=1λiEi（X- bi）。再一次，如果EIC都是期望类型且可识别，则定理1给出了elicI（D）=elicI（R）≤ 在适当的假设下，假设Siare完全独立（定义11），则k+1具有命题3的匹配下限。最后，一对E的回复定理可以被视为上面用E代替E（X）的特例(-十）。统计特性的启发复杂性11因此，我们的结果为其他几个例子给出了严格的复杂性界限，包括“超分位数”或光谱风险度量、分位数半径四边形，以及Ben-Tal和Teboulle（2007）的优化确定等价性。我们的结果解释了其中一些风险/偏差度量的回归程序的存在。例如，Rockafellar等人。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-5-8 10:28:29

（2014）将超分位数回归引入光谱风险度量的fit模型。超预期是另一个例子（Rockafellar&Royset，2013）。根据定理1，我们可以将超分位数回归解释为简单地对k个不同分位数及其联合贝叶斯风险进行回归。事实上，我们的结果表明，由多个期望四边形混合产生的任何风险/偏差都将有一个类似的过程，在这个过程中，两个变量只需沿着兴趣度量进行计算。更广泛地说，这种回归程序适用于任何贝叶斯风险。最后，我们简要地考虑了一致性风险度量，一个包含光谱风险度量的类别，以及上面的其他几个例子。在其他属性中，一致性风险度量满足正同质性，即ρ（αX）=αρ（X），其中α≥ 0.一致性风险度量可以通过其众所周知的对偶表示来表征，ρ（X）=supQ∈QE[QX]，其中Q是一组称为风险包络的随机变量集（F¨ollmer&Schied，2004；Ang等人，2018）。尽管这种表示法与等式（11）相似，但定理1通常不直接适用，因为包络Q通常是有限维集，产生的上界很小。例如，α级的预期短缺通常用Q={Q:0表示≤ Q≤ 1/α}（Delbaen，2002；Ang等人，2018）。也就是说，如果Q中的潜在优化器可以由一个有限维参数来参数化，正如我们在等式（3）中看到的预期不足，以及关于该参数的有效连续性限制，则该定理将适用。3·7. 经验风险最小化回想一下，在许多统计学习环境中，人们希望学习一个模型或假设：X→ 从类H中预测R值作为特征向量x的函数∈ 十、

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-5-8 10:28:33

例如，线性分类有X=Rd和Y=R={+1，-1} 假设类Hlin={hθ：x7→ sgn（x·θ+b）|θ∈ Rm，b∈ R} 。假设h的预测误差由给定的损失“：R×Y”来判断→ R、例如分类中的0-1损失`（R，y）=1{R 6=y}。因此，假设P是X×Y上的基本分布，我们寻求一个假设h∈ H，使预期损失EP`（H（X），Y）最小。解决这一学习问题的许多算法都属于（正则化）经验风险最小化的大范畴，其中给定一个有限的数据集D={（xi，yi）}ni=1，one choosesh*∈ 阿明∈HX（xi，yi）∈D`（h（xi），yi）+g（h），（9）式中g:h→ R是正则化子。然而，等式（9）中的优化问题可能很难解决，尤其是当R是一个有限集时，如在分类、排名和相关问题中（Arora等人，1993）。因此，通常的方法是找到替代损失L:Rk×Y→ R更易于优化，并通过链接函数f:Rk选择使经验L损失最小的假设→ R（Bartlett等人，2006年）。例如，支持向量机（SVM）、boosting和logistic回归都可以被视为优化凸代理损失R，然后是链接f=sgn:R→ {+1, -1}. 有关支持向量机的更多信息，请参见下文。这个替代过程提出了以下问题：何时优化替代损耗SL并应用一些链接f达到最佳损耗，或者换句话说，何时校准L？至少有三种有趣的方法可以让这个问题变得精确。最弱的是精确最小化L，然后应用f精确最小化Y上的所有分布。更强大的是，我们可以要求渐近校准，任何收敛到L的最小值的序列，当与f组合时，也收敛到`。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-5-8 10:28:36

更强大的是，我们可以寻找这种趋同发生的速度。12 R.Frongillo和I.A.KashAll的这些配方与诱导复杂性有关。设ΓLandΓ分别是由L和`导出的可能的集值性质。上面最薄弱的关系，即精确最小化L和应用f精确最小化“的关系，当且仅当ΓLre定义Γ”时成立，即对于所有u∈ 存在一个r∈ R使ΓLu Γr；见定义12。例如，如果一个人寻求一个光滑的严格凸损失L:Rk×Y→ 在弱意义下，根据`，对R进行校准，那么维度k的最小可能值就是精确的启发复杂度ElicCrict（Γ`）。对于渐近校准，还有一个额外的要求，即f和`满足某种类型的连续性。直觉上，如果o Fo ΓLis不是连续的，一个人可能能够任意地最小化L，但仍然远远不能最小化`。作为R=Y=R和k=1的一个简单例子，考虑`（R，Y）=1{r6=Y}和L（u，Y）=（u- y）。Agarwal和Agarwal（2015）给出了类似分类问题的条件。一般版本对应于严格正校准函数的存在（Steinwart&Christmann，2008）。利率通常依赖于更强的统一连续性，例如Steinwart和Christmann（2008）的定理3.22。作为一个具体的例子，考虑铰链损耗L（u，y）=max{0，1- 其中Y={+1，-1} 你呢∈ R.如上所述，支持向量机使用铰链损失作为0-1损失`（R，y）=1{R 6=y}的凸代理，其中代理最小化后是链接f（u）=sgn（u）。让我们来验证这些损失的最小值之间的各种关系。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:28:40

在你到达这个范围之后[-1，1]，由于u的所有其他值都是弱支配的，我们可以描述由铰链损失限制的性质ΓL，及其水平集ΓLu，如下所示：ΓL（p）=-1 0 ≤ p（+1）<1/2[-1,1]p（+1）=1/21 1/2<p（+1）≤ 1，ΓLu={p:p(-1) ≥ 1/2}u=-1{p:p（+1）≥ 1/2}u=1{（1/2，1/2）}u∈ (-1, 1). （10）经检查，我们有ΓLu Γ`rfor r=sgn（u），意味着链接函数f=sgn。此外，Steinwart&Christmann（2008，定理3.34，3.36）表明，铰链损失实现了渐进的，实际上是一致的校准。这些观察结果表明，从根本上说，导致一致性学习算法的替代项L依赖于ΓL、f和Γ，而不是直接依赖于L。然而，这种说法隐含的假设是，学习算法考虑的是一类不受限制的Hof模型。如果模型类受到限制，比如上面的hlin，我们不能保证最优映射h*: x7→ ΓL（px），其中px=Pr[Y=Y | X=X]是Y值的真实分布，将以H为单位。在这种情况下，一致性更难建立，尤其是，不同的替代选择会导致ΓL影响最终实现的“风险”。因此，提供各种损失函数的工具也很重要。在其他学习环境中，自然的问题不一定是最小化特定的损失，而是估计给定的统计数据。例如，在回归中，对于给定的x∈ RDY上通常会有一个分布∈ 我们得到了一些感兴趣的汇总统计数据，比如平均值。在这些设置中，直接根据所需的属性Γ来指定问题是很自然的，并寻求一个可引出的ΓLand link f，例如Γ=fo ΓL。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-8 10:28:43

只要Γ满足适当的连续性属性，学习就可以保证类似的一致性。因此，总而言之，elicC（Γ）的上界通常为给定的利益属性Γ提供统计上一致的替代损失，其中Γ=Γ`如果给出损失\'。此外，Anuper-bound elicC（Γ）≤ k意味着中间性质Γ是Rk的函数，这意味着基本假设范围的维数最多可以取为k。请注意，k不是参数数，对于Rk，它是d+1。同样，下界elicC（Γ）≥ k表明，对于C类，任何此类替代损失和联系的存在，则假设范围的维数必须至少为k。统计特性的启发复杂性134。基本复杂性结果4·1。最初的观察我们从一个重要的观点开始：在不限制属性C的类别的情况下，定义4变得微不足道，所有属性都变得1-可引出。这个观察结果并不包含关于情况Γ（p）=（Ep[Y]）的备注2，因为我们可以在这里显示elicClin（Γ）=1。备注4。R和rna的集合论基数与N和q的集合论基数相同，因此存在一个双射：R→ RQ（Hrbacek&Jech，1999，定理2.3）。取Y=R，在Borelσ-代数上定义的任何概率测度都由其累积分布函数（CDF）F唯一确定，而累积分布函数（CDF）F又由其有理数{F（q）| q上的值唯一确定∈ Q} 。让g:P→ RQbe是将概率度量p转换为CDF并根据有理数对其进行评估的映射。那么h.=~n-1.o g是P和R之间的内射映射。因此，给定一些性质Γ：P→ Rk，我们让^Γ=h将每个分布编码为一个实数。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝