正则化回归模型中的偏差感知推理

nandehutu2022

1452

收藏 2022-04-28

英文标题：
《Bias-Aware Inference in Regularized Regression Models》
---
作者：
Timothy B. Armstrong and Michal Koles\\\'ar and Soonwoo Kwon
---
最新提交年份：
2020
---
英文摘要：
We consider inference on a regression coefficient under a constraint on the magnitude of the control coefficients. We show that a class of estimators based on an auxiliary regularized regression of the regressor of interest on control variables exactly solves a tradeoff between worst-case bias and variance. We derive \"bias-aware\" confidence intervals (CIs) based on these estimators, which take into account possible bias when forming the critical value. We show that these estimators and CIs are near-optimal in finite samples for mean squared error and CI length. Our finite-sample results are based on an idealized setting with normal regression errors with known homoskedastic variance, and we provide conditions for asymptotic validity with unknown and possibly heteroskedastic error distribution. Focusing on the case where the constraint on the magnitude of control coefficients is based on an $\\ell_p$ norm ($p\\ge 1$), we derive rates of convergence for optimal estimators and CIs under high-dimensional asymptotics that allow the number of regressors to increase more quickly than the number of observations.
---
中文摘要：
我们考虑在控制系数大小的约束下对回归系数的推断。我们证明了一类基于控制变量相关回归子的辅助正则回归的估计量精确地解决了最坏情况偏差和方差之间的折衷。我们基于这些估计器推导出“偏差感知”置信区间（CI），在形成临界值时考虑了可能的偏差。我们证明，对于均方误差和CI长度，这些估计量和CI在有限样本中是接近最优的。我们的有限样本结果基于正态回归误差和已知同态方差的理想设置，我们提供了未知和可能异方差误差分布的渐近有效性条件。针对控制系数大小的约束基于$\\ell_p$范数（$p\\ge 1$）的情况，我们推导了高维渐近条件下最优估计量和CI的收敛速度，这使得回归器的数量比观测值的数量增加得更快。
---
分类信息：

一级分类：Economics 经济学
二级分类：Econometrics 计量经济学
分类描述：Econometric Theory, Micro-Econometrics, Macro-Econometrics, Empirical Content of Economic Relations discovered via New Methods, Methodological Aspects of the Application of Statistical Inference to Economic Data.
计量经济学理论，微观计量经济学，宏观计量经济学，通过新方法发现的经济关系的实证内容，统计推论应用于经济数据的方法论方面。
--
一级分类：Statistics 统计学
二级分类：Methodology 方法论
分类描述：Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计，调查，模型选择，多重检验，多元方法，信号和图像处理，时间序列，平滑，空间统计，生存分析，非参数和半参数方法
--

---
PDF下载：
-->

Bias-Aware_Inference_in_Regularized_Regression_Models.pdf
大小:(454 KB)

马上下载

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

kedemingshi

2022-4-28 16:05:21

正则化回归模型中的偏差感知推理*Timo thy B.Armstrong+耶鲁大学Michal Koles\'ar大学校长宋宇权耶鲁大学2020年12月29日摘要我们考虑在控制系数大小的约束下对回归系数的推断。我们证明了一类基于对控制变量感兴趣的回归器的辅助正则回归的估计量b精确地解决了最坏情况偏差和方差之间的一个偏差。我们根据这些估计器得出“偏差感知”置信区间（CI），其中考虑了构成临界值的可能偏差。我们证明，对于平均误差和CI长度，这些估计量和CI在有限样本中接近最优。我们的有限样本结果基于正态回归误差和已知同方差的理想设置，我们提供了未知和可能的异方差分布的渐近有效性条件。关注控制系数大小的约束基于lpnorm（p≥ 1）在高维渐近条件下，我们得到了最优估计和CI的收敛速度，这使得回归器的数量比观测值的数量增长得更快。*本文的部分内容包括工作文件阿姆斯特朗和科尔斯ar（2016）第4节中的材料，该文件在最终出版版本（阿姆斯特朗和科尔斯ar，2018年）中取出。这篇文章的一个更清晰的版本以“正则化回归模型中的最优推理”为题分发我们感谢MarkLi和Ulrich M¨uller提供他们的代码。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-4-28 16:05:24

Koles\'ar感谢斯隆研究奖学金的支持。+电子邮件：蒂莫西。armstrong@yale.edu——电子邮件：mkolesar@princeton.edu§电子邮件：soonwoo。kwon@yale.edu1在产品中，我们对线性回归模型中的标量系数β的估计和推断感兴趣，i=wiβ+z′iγ+ε，i=1，n、（1）其中控制的k向量可能较大。在这种情况下，经典的普通最小二乘法（O LS）估计量的方差太大，无法产生有用的结果，而且当k>n时，它甚至没有定义。为了改善这一点，正则化回归文献考虑修改OLS目标函数以惩罚较大的γ值，从而以增加偏差为代价降低方差。这些方法中最流行的是使用套索（Tibshirani，1996）或其他不同的套索l惩罚（例如，坎德斯和陶，2007；贝洛尼等人，2011）。有大量文献（参见B–uhlmann和van de Geer，2011年的综述）表明，在稀疏γ假设下，这些估计值具有良好的均方误差（MSE）性质。为了进行推断，几篇论文提出了基于“双套索”估计量的CIs（见Belloni等人，2014年；Javanmard和Montanari，2014年；van de Geer等人，2014年；Zhang和Zhang，2014年），其渐近校正依赖于γ稀疏性的速率条件。然而，在经济学的许多应用中，稀疏性假设可能并不令人信服。此外，尚不清楚这种方法在给定的有限样本中隐含着什么样的稀疏性约束。在本文中，我们采用了不同的方法。我们的方法基于对控制系数的大小施加先验界，使用惩罚函数Pen（·）形式化：我们假设Pen（γ）≤ C

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-4-28 16:05:27

在我们领先的产品规格中，我们认为这是一种惩罚lpnorm，但我们的框架可以包含γ的任何限制，将其置于凸对称集中。例如，如果z′iγ是某个光滑函数的基近似，我们可以定义Pen（γ）以包含该函数导数的边界。正则参数C起着类似于稀疏界的作用。在已知的高斯方差假设下，我们得到了理想的方差估计。我们还研究了当k>> n、最后，我们讨论了使用异方差估计来形成我们的CI的可行版本，以及它们的符号有效性的条件。我们的主要有限样本结果表明，这类估计器精确地解决了问题。虽然我们排除了稀疏约束（非凸约束），但我们的结果对这种情况也有影响。有关讨论和比较，请参见第5节。最坏情况下的偏差和方差之间的权衡可以通过以下方法获得：（1）使用Pen（·）作为权重λ的惩罚函数回归wion-Zi，然后（2）使用该回归的残差作为工具回归Yion-Zi。基于这些估计器的CI可以通过使用包含估计器最坏情况偏差的临界值来构建，我们表明，该临界值可以作为步骤（1）中正则化回归的副产品自动获得。这些CI是“偏差感知”的，因为它们解释了估计器的潜在有限样本偏差，因此在理想高斯设置中，它们在有限样本中是有效的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-4-28 16:05:30

我们展示了如何选择调谐参数λ来优化结果估计器的均方误差，或者优化结果CI的长度。我们还考虑了偏差感知CI在高维渐近条件下的行为>> n、和（wi，z′i′）是独立于i的，方差矩阵的特征值从零开始并在单位内。我们推导了当Pen（γ）是一个常数时，最优CI收缩的速率lpnorm。我们证明了，在k>> n和Cdoes不随n收缩，最优CI收缩比n慢-1/2，因此bia项渐近占主导地位。此外，我们还表明l在这种情况下，即使有一个国家也无法提高这一比率l在wion-zi的回归中受到约束，并且在这两个回归中都有一定程度的稀疏性。作为我们方法的一个关键输入，我们要求研究人员明确指定约束Pen（γ）大小的规则参数C。我们的效率范围表明，在形成CI时，自动选择C是不可能的。因此，我们建议采用灵敏度分析的形式，并报告由C的最大值给出的“细分”值，以使给定的结果（如拒绝特定的零形合）成立。我们讨论了如何通过将C与回归R联系起来来指导C的选择，并提出了一个较低的C的CI，该CI可用作规格检查，以确保cho值不会太低。正如我们在第5节中进一步讨论的那样。2.不选择规则约束的CI（例如C，或者对于基于稀疏性的方法，稀疏界）显式涉及这些参数的隐式选择。我们的有限样本方法的优点是使这些选择明确。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-4-28 16:05:33

这确保了我们的覆盖率保证和效率界限不只是基于在特定样本中可能难以评估的调整参数的“渐进承诺”。我们的结果与几股轻时代的理论有关。我们的程序和效率与inIbragimov和Khas’minskii（1985年）、Donoho（1994年）、Low（1995年）以及Armstrong和Koles’a r（2018年）开发的凸高斯模型中线性泛函的一般理论有很大关系。特别是，最优估计值在结果上是线性的，CI是以此类估计值为中心的“双线性”固定长度置信区间（FL CI）。我们的研究结果补充了近年来将这种方法应用于各种美国环境的文献，包括Armstrong和Koles\'ar（2020a，b），Koles\'ar和Rothe（2018），Imbens和Wager（2019），Rambachanand Roth（2019），Noack和Rothe（2020），以及Kwon和Kwon（2020）。Muralidharan等人（2020年）将本文中的方法应用于阶乘设计和交互效应边界的实验。我们推导的估计量的类别，尤其是结合wion-zito估计β的回归的想法，与针对这个问题提出的各种估计量有关，至少可以追溯到Robinson（1988）关于部分线性模型的工作。我们的结果为这一想法提供了一个新的有限样本调整，以及给出该回归的最佳形式和包含该回归的最佳估计量的精确结果。我们的结果考虑了Pen（·）的一般形式，它在一些特殊情况下简化为现有的估计量：在这种情况下，我们的结果可以用来推导新的偏差感知CI来伴随这些估计量。Li（1982）的结果表明，当峰值对应于l标准Li和M¨uller（2020）考虑加权lnormPen（γ）=（Pni=1（z′iγ））1/2。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

大多数88

2022-4-28 16:05:37

他们采用了一种不同的方法，利用了这个惩罚函数的特殊不变性。Heckman（1988）在部分线性模型中导出了最优线性估计，其中惩罚函数限定了一元非参数回归函数的第一或第二导数。β的估计和CI构造问题不同于使用全局损失估计回归函数本身或整个参数向量的问题。关于后一个问题，请参见Zhang（2013）的案例，其中p≤ 1（与我们在p=1时考虑的γ的界类重叠）和邵和邓（2012）在p=2时的界类重叠。这些论文在关注渐近结果方面也不同于目前的论文。本文的其余部分组织如下。第2节给出了理想模型中带有高斯误差的有限样本结果。第3节讨论在未知错误分布的更现实环境中的实现。第4节给出了在高维环境下，在一个平面上的边界下，效率边界的渐近特征lpnorm。第5节将我们的方法与CIs设计的f或稀疏约束进行了比较。证据和辅助结果见附录。2有限样本结果本节建立了我们的模型的理想化版本，带有高斯同调误差。然后，我们展示了如何在该模型中构造在有限样本中接近最优的估计量和CI。2.1.我们在等式（1）中以向量形式asY=wβ+Zγ+ε（2）写出模型，其中w=（w，…，wn）′∈ Rn是系数为β的感兴趣变量∈ R和Z=（Z′，，Z′n）\'∈ Rn×kis是控制变量的矩阵。设计矩阵X=（w，Z）是固定的。为了获得有限样本结果，我们进一步假设误差为正态和齐次ε~ N（0，σIn），（3）已知σ。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-4-28 16:05:40

在第3节中，我们讨论了可能存在异基态且无n-高斯误差的实现。为了在k相对n较大的情况下（包括k>n的情况）对β进行推断，研究人员需要对控制系数γ进行先验限制。我们假设这些限制可以通过将（β，γ′）的参数空间限制为R×Γ来形式化，其中，对于Rk的一些线性子空间G，Γ=Γ（C）={γ∈ G:Pen（γ）≤ C} ，其中Pen（·）是G.上的一个半形式。（4）Pen（·）是一个半形式的要求意味着它满足三角形不等式（Pen（γ+～γ）≤ Pen（γ）+Pen（~γ）），以及同质性（对于任何标量c，Pen（cγ）=| c | Pen（γ）），但与范数不同，它不一定是正定义（Pen（γ）=0并不意味着γ=0）。这使我们能够涵盖只有一部分控制系数受到限制的设置。为了说明我们的方法，我们将重点放在Pen（·）对应于加权lpnorm。为此，将控件分成一组k≥ 0无限制基线控制和一组k=k-k附加控件，Z=（Z，Z）。相应地，配分γ=（γ′，γ′）。让HAdenote将投影矩阵投影到矩阵a的列空间上。例2.1（l惩罚）。我们指定惩罚asPen（γ）=kMγk=pγ′M′Mγ，（5），其中k×k矩阵M包含对变量进行缩放，并选择哪些变量需要约束。如果M=（0，Ik），那么Pen（γ）=kγk，γ不受约束。设置m=（0，（Z′（I）-HZ）Z/n）1/2）对应于I和M¨uller（2020）中考虑的规范，在控制基线控制Z后，该规范限制了平方平均效应Z′2iγ对Yi的平均值。示例2.2(l惩罚）。我们将等式（5）中的nor m替换为l标准为了简单起见，我们将重点放在未加权的情况下，设置M=（0，Ik）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-4-28 16:05:45

这导致Pen（γ）=kγk=Pkj=k+1 |γj |。除了惩罚的选择，Γ的规定还要求研究人员选择规则参数C；在这里，我们认为它是给定的，并推迟到第3节讨论这个选择。虽然我们已经用半形式表示了参数空间Γ，但这个公式并没有限制性，因为基本上任何对称的凸集Γ（γ∈ Γ意味着-γ ∈ Γ）可以用这种方式定义（见Yosida，1995年，提案5，第26页）。虽然我们排除了Γ上的非凸约束，例如稀疏性，但我们的结果仍然对这种设置有影响，正如我们在第5节中讨论的那样。我们的目标是构造β的估计量和CI。为了评估β的估计量^β，我们在均方误差准则RMSE（^β；Γ）=supβ下考虑了它们在参数空间R×Γ上的最坏情况性能∈R、 γ∈ΓEβ，γ[（^β- β）其中Eβ，γ表示（β，γ′）下的期望值。为了评估CI，我们首先要求它们满足覆盖要求。A 100·（1）- α）半长为^χ=^χ（Y，X）的%CI是满足β的区间{710β±^χ}∈R、 γ∈ΓPβ，γβ ∈ {^β ± ^χ}≥ 1.- α、其中Pβ，γ表示（β，γ′）下的概率。为了比较特定参数向量（β，γ′）下的两个CI，我们选择期望长度较短的CI Eβ，γ[2^χ]。请注意，优化预期长度不一定会导致CI集中在MSE标准下最优的估计器^β上。2.2线性估计量CIs我们首先考虑结果Y中的线性估计量，β=a′Y，并展示如何基于此类估计量构建CIs。权重a的n向量可能取决于设计矩阵X或已知方差σ。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-4-28 16:05:54

在第二部分。下面，我们将在第2节展示如何以最佳方式选择权重a。4.我们证明，当a是最优选择时，结果估计量和CI在所有过程中都是最优的，而不仅仅是线性过程。在给定的参数向量（β，γ′）下，β=a′Y的偏差由a′（wβ+Zγ）给出- β. 当（β，γ′）在参数空间R×Γ上变化时，偏压在该集合上变化[-biasΓ（^β），biasΓ（^β）]，其中biasΓ（^β）=supβ∈R、 γ∈Γa′（wβ+Zγ）- β（6）表示最坏情况下的偏差。^β的方差不依赖于（β，γ′），由var（^β）=σa′a给出。要形成以t^β为中心的CI，请注意t统计量（^β-β） /var（^β）1/2遵循N（b，1）分布，其中|b |≤ 偏差Γ（^β）/var（^β）1/2。因此，表示1-a | N（B，1）|分布的α分位数由cvα（B）构成，双侧CI可以形成为^β±χ，其中χ=var（^β）1/2·cvα偏差Γ（^β）/var（^β）1/2. （7）我们将其称为固定长度置信区间（FLCI），遵循术语inDonoho（1994），因为其长度2χ是固定的：它仅取决于非随机设计矩阵xx和已知方差σ，2.3 MSE R（β；β）=偏差（β）+var（β）和公式（7）中给出的CI半长χ的最佳权重在β的方差及其最坏情况下的偏差（β）中增加。因此，为了找到最佳权重，必须将方差最小化，并在最坏情况偏差上有一个界B，我们可以将其写成最小值∈Ra′a s.t.supβ∈R、 γ∈Γa′（wβ+Zγ）- β ≤ B.（8）然后我们可以改变边界B，以找到给定标准（MSE或CI长度）的最佳权衡。由于这种优化不依赖于结果数据Y，因此以这种方式优化权重不会影响结果CI的覆盖特性。我们的主要计算结果表明，式（8）中的优化问题可以用w对Z的正则化回归来计算。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-4-28 16:05:58

由于有点滥用术语，我们将这种回归称为倾向评分回归（尽管我们不需要wito bebinary）。为了说明结果，让π*λ表示惩罚笔（π），minπkw的正则开放度得分回归中Z的系数估计-Zπks。t、 Pen（π）≤ tλ，（9）临界值cv1-α（B）可以计算为1的平方roo t- 具有1个自由度和非中心参数B的非中心χ分布的α分位数，其中tλ是惩罚项的界。这里，λ对等式（9）中约束的权重进行索引。它可以是（9）的拉格朗日公式中的拉格朗日乘子，也可以直接求解（9），取tλ=λ。定理2.1。让π*λ是（9）的解，假设kw- Zπ*λk>0。蒂娜*λ=w-Zπ*λ（w）- Zπ*λ）界为B=Ctλ·（w）的′wsolves（8）- Zπ*λ） ′Zπ*λ（w）- Zπ*λ）因此，估计量^βλ=a的最坏情况偏差和方差*λ′Y=（w）-Zπ*λ） ′Y（w）-Zπ*λ） ′w（10）是givenbybiasΓ（^βλ）=CBλ，Vλ=σkw-Zπ*λk[（w-Zπ*λ） ′w]，其中bλ=Pen（π）*λ）（w）- Zπ*λ） ′Zπ*λ（w）- Zπ*λ） ’w.（11）将布拉吉莫夫和哈斯·明斯基（1985）、多诺霍（1994）、罗（1995）以及阿姆斯特朗和科尔斯·阿尔（2018）的一般理论应用到我们的设置中，从而使我们能够将（8）改写为凸优化问题。解决这个凸问题就会得到结果。定理2.1表明，通过一个简单的两步程序，可以获得最佳权衡偏差和方差的线性估计类（即，它们为某些B求解等式（8））。在第一步中，我们估计惩罚倾向评分回归（9），由惩罚项λ表示，惩罚由决定Γ的惩罚笔给出。在第二步中，我们使用残差w-Zπ*λ作为Y对w的回归中的工具。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-4-28 16:06:02

惩罚λ*mse与λ*F产生线性估计量^βλ*mse和^βλ*FLCIT优化MSE标准，并产生与单变量优化问题λ的解相对应的最短CI长度（对于线性估计器，该长度是固定的；见等式（7））*MSE=argminλVλ+（CBλ），λ*FLCI=arg minλcvα（CBλ/pVλ）pVλ，（12），其中Vλ和bλ在（11）中给出。As tλ→ 如果Pen（·）是Z上的范数，则^βλ收敛到短回归估计^βshort=w′（I-HZ）Yw′（I）-HZ）仅包括不受限制的控制Z。该估计器使所有线性估计器之间的方差最小化，且具有有限的最坏情况偏差。在另一个方向，如tλ→ ∞,^βλ收敛于长回归估计^βlong=w′（I-HZ）Yw′（I）-HZ）w，前提是w不在Z的列空间中（这确保了条件kw- Zπ*λk>0在理论上为2。1适用于所有λ）。这个估计器使所有无偏线性估计器之间的方差最小化，因此定理2。在这种情况下，1R导出了高斯-马尔可夫定理。换句话说，短回归和长回归是偏差-方差权衡的角解，其中权重完全放在方差或偏差上。例2.1(l刑罚（续）。在这种情况下，（9）的一个方便的拉格朗日公式是π*λ=arg最小πkw-Zπk+λkMπk，如果Z′Z+λM′M是可逆的，采用一阶条件立即得到封闭形式的解π*λ=（Z′Z+λM′M）-1Z′w是倾向得分的（广义）岭回归估计量。简单代数表示^βλ=（w- Zπ*λ） ′Y（w）- Zπ*λ） \'w=e\'X′X+λ00米-1X′Y，（13），其中e=（1，0，…，0）′是第一个标准基向量。因此，最优估计也可以从Y到X的广义岭回归中获得。在这种情况下岭回归的最优性由I（1982）证明，上述推导给出了定理2的一个特例。1.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-4-28 16:06:05

如果M=（0），（Z′（I- HZ）Z/n）1/2），然后估计器进一步简化为短期和长期回归估计的加权平均，^βλ=ω（λ）^βshort+（1- ω（λ））^β长，权重ω（λ）=λ/nλ/n+，=w′（I- HZ）ww′（I）- HZ）w=var（β短）var（β长）。短回归的权重随着λ的增加而增加（随着偏差-方差权衡中方差的相对权重增加），随着的增加而减少。例2.2(l刑罚（续）。在这种情况下，（9）的解由套索估计（Tibshirani，1996）的方差给出，该方差只惩罚γ。由此产生的估值器^βλ与最近提出的使用套索构造CIS的估值器有关（见Zhang和Zhang，20 14；Javanmard和Montanari，2014；van de Geer等人，2014；Belloni等人，2014）。这些论文提出了β的估计器，将Y到X的结果回归的lasso估计与lasso估计相结合，只要没有元素π6=0同时满足Zπ=0和Mπ=0，这就成立。直观地说，如果Zhas秩小于k，那么数据就不能提供关于某些方向π的信息，我们需要矩阵xm在这些方向上对π进行有效限制。术语“岭回归”有时用于M′M=Ik的情况。在这里，我们使用这个术语来包括这样的泛化。从倾向评分回归中得出的估计值在Y中是非线性的。相反，我们的估计器只对倾向评分回归使用套索估计，在Y中是线性的。在第5节中，我们详细比较了我们的估计量和这种“双套索”方法。例2.3（部分线性模型）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-4-28 16:06:09

为了灵活地控制低维协变量集zi，可以指定一个半参数模型Yi=wiβ+h（~zi）+εi，gPen（h）≤eC，其中PenaltyPen（h）是函数h（·）上惩罚h的“粗糙度”的半形式，例如h的h¨older或Sobolev半形式或der q。Heckman（1988）考虑了该模型中Pen（h）的特定选择的极小极大线性估计。通过定义Z=In，γi=h（~zi）和Pen（γ）=minh:h（~zi）=γi，i=1，…，该设置也可以直接进入您的设置，。。。ngPen（h）（假设取最小值）。理论2。1则意味着最优估计器的形式为^βλ=Pni=1（wi- G*λ（~zi））YiPni=1（wi-G*λ（~zi））wi，其中g*λ（·）类似于正则化回归估计π*λin（9）：它解算出nxi=1（wi- g（~zi））s.t.gPen（g）≤ tλ。当pen是Sobolev半范数时，这会产生一个样条估计g*λ（例如，见Wahba，1990）。罗宾逊（Robinson，1988）的一篇综述性论文以及其中引用的早期论文对部分线性模型进行了处理。有趣的是，Robinson（1988）提出的估值器与估值器^βλ的形式类似，它包含了w对zi的非参数回归的残差。虽然Lobinson（1988）的分析是渐近的，但我们的结果表明，这种估计的厌恶具有明显的有限样本最优性。2.4在非线性程序中的效率因此，到目前为止，我们将注意力限制在结果中线性的程序上。我们现在证明了估计量^βλ*MSE和基于^βλ估计的CIs*事实上，FLCIA在所有程序中都是高效的，而不仅仅是线性程序。这是因为para meterspaceΓ是凸的和对称的，并且遵循了inDonoho（1994）、Low（1995）以及Armstrong和Koles\'ar（2018）关于凸参数空间正态模型中线性泛函估计的一般结果。推论2.1。让λ*mse与λ*flci可以在等式中给出。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-4-28 16:06:14

（12），其中优化超过llλ，且tλ>0，因此：- Zπ*λk>0。Le t^βλ、Bλ和Vλ可在（1）中给出。设β和βχ表示其他（可能是非线性的）估计量和其他（可能是非线性的、可变长度的）CI。（i）对于任意λ，supβ∈R、 γ∈Γvarβ，γ（Γβ）≤ Vλ表示偏差Γ（Γβ）≥ CBλ和偏压Γ（Γβ）≤ CBλ表示supβ∈R、 γ∈Γvarβ，γ（Γβ）≥ Vλ。（ii）最坏情况下的^β对^βλ的MSE改善*mse以mse（∧β）RMSE（^βλ）为界*MSE）≥ κ*MSE（X，σ，Γ）≥ 0.8，其中κ*MSE（X，σ，Γ）在附录A中给出。2.（iii）与最佳线性FLCI^βλ相比，CIβ±χ的预期长度有所改善*FLCI±cvα（CBλ）*FLCI/V1/2λ*FLCI）V1/2λ*FLCIatγ=0，且任何β都以β，0[~χ]cvα（CBλ）为界*FLCI/V1/2λ*FLCI）V1/2λ*FLCI≥ κ*FLCI（X，σ，Γ），其中κ*附录A给出了FLCI（X，σ，Γ）。当α=0.05时，至少为0.717。通过构造，估计量^βλ最小化了偏差上有丰富CBλ的所有线性估计量之间的方差（或者等价地，它最小化了偏差上有丰富Vλ的所有线性估计量之间的偏差）。推论2。1（i）表明，如果我们将估计量的类别扩大到所有估计量，包括非线性估计量，那么这个最优性性质是保留的。因此，最小最大线性估计^βλ*MSE（即在线性估计类中达到最低最坏情况MSE的估计量）在所有估计量中继续表现良好，包括非线性估计量：推论2。1（ii），其最坏情况下的MSE效率至少为80%。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-4-28 16:06:18

结合κ的精确效率*MSE（X，σ，Γ）取决于设计矩阵、噪声级和参数空间的特定选择，在特定应用中可以显式计算。我们发现，通常效率要高得多。最后，推论2。1（iii）表明不可能基于^βλ对OFLCI进行实质性改进*当γ=0时，就预期长度而言，即使我们考虑“直接幂”为tγ=0的可变长度CI（当γ6=0时，可能以更长的预期长度为代价）。FLCI的构造可能看起来比较保守：其长度取决于（β，γ′）的参数空间的最坏情况偏差，正如REM 2.1的证明所示，该偏差在γ=Ct时达到-1λ*FLCIπ*λ*FLCI，Pen（γ）=C。因此，人们可能会担心，当γ的大小远小于C时，FLCI太长。推论2。1（iii）表明情况并非如此，FLCI的效率至少为71。7%相对于可变长度CI，当γ=0时，可变长度CI优化其预期长度。效率结合κ*MSE（X，σ，Γ）可以在特定应用中显式计算，我们发现它通常比71.7%要高得多。推论的结果。1（iii）是指不可能形成一个与约束Pen（γ）的正则参数C相适应的CI。在当前设置中，一个nadaptive CI的长度将自动反映真实的规则性Pen（γ），同时在Pen（γ）上保持保守的先验界限下的覆盖率。然而，根据Corollary 2。1（iii），任何CI的预期宽度都必须反映保守的a先验界C，而不是真正的正则性Pen（γ），即使Pen（γ）比保守的a先验界C小得多。尤其是，在形成CI时，不可能自动选择正则性参数C。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-4-28 16:06:21

因此，我们建议将C作为灵敏度分析的一种形式，或使用辅助信息来选择C；见备注3。3.3非高斯和异方差误差的实现我们现在讨论实际的实现问题，允许ε为非高斯和异方差。作为基线，我们提出以下实现：算法3.1（基线实现）。输入数据（Y，X）、惩罚笔（·）、正则性参数C和残差的初始估计^ε初始，1，εinit，n.β1的输出估计和CI。假设齐次方差，计算初始方差估计量σ=nPni=1εinit，i。2.计算解的路径{π*λ} λ>0，用于正则化倾向评分回归ineq。（9），通过惩罚权重λ进行索引。对于每个λ，计算公式（10）中的^βλ，计算公式（11）中的bλ和Vλ，用^σ代替Vλ公式中的σ。计算λ*mse与λ*FLCIas在等式（12）中，并计算稳健方差估计^Vλ，rob=Pni=1a*λ、 iεinit，i，其中a*λ=w-Zπ*λ（w）- Zπ*λ） ′w.返回估计量^βλ*mse和CI^βλ*FLCI±cvαCBλ*FLCI/^V1/2λ*弗尔奇，罗伯·^V1/2λ*弗尔奇，罗伯。现在让我们在一系列评论中讨论实现选择以及程序的最优性和有效性属性。备注3.1（有效性）。作为初始残差估计^εinit，i，我们可以从Y对X的正则化结果回归中获取残差。我们在附录B.2中给出了所得CI渐近有效的条件。关键要求是最大林德伯格重量林德（a*λ） =max1≤我≤不*λ、 i/Pnj=1a*λ、与估值器相关的jβλ相对于用于形成残差的估值器中的误差收缩得足够快。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-4-28 16:06:24

确保林德（a*λ） “小”可以防止估计器对某个特定的观测值施加太多的权重，因此中心极限t heorem的Lindeberg条件成立。这些条件是否适用于最优估计器通常取决于Pen（γ）的形式和C相对于n的大小*λ）如果在特定样本中足够小，使正态近似能够很好地工作，则可以通过将λ上的等式（12）最小化，从而使Lind（a*λ）当计算λ时，数值很小*FLCI。在其他情况下，这类似于诺克和罗特（2020年）以及贾文马尔和蒙塔·纳里（2014年）的提案。有关进一步讨论，请参见附录B.2。备注3.2（效率）。重量*λ*弗莱西安*λ*在异方差条件下，MSE不是最优的。通过在ε假设下导出最优权重，可以在原则上推广用于无约束估计的f可行广义最小二乘（FGLS）方法~ N（0，∑）（在预乘以∑后，简单地遵循上述分析）-1/2），并推导了当已知方差和高斯误差的假设被放弃时，插入∑估计的估计量和CI渐近最优的条件。Weinstead概括了在无约束环境下，使用Eicker-Huber-White（EHW）标准误差报告OLS的常用方法。最优权重a*λ是在同构假设下计算的，但我们使用稳健的标准误差来计算CIT，以确保其在违反该假设时的有效性。备注3.3（选择C）。根据推论2。1（iii），在形成CI时，不能使用数据驱动规则来自动选择C。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-4-28 16:06:28

因此，我们建议将变化C作为灵敏度分析的一种形式，并报告“br下降值”C*作为C的最大值，因此一些经验发现成立。在无法使用先验知识评估γ的合理值的情况下，可以将Pen（γ）的大小与其他量联系起来。一种可能性是使用约束笔（γ）在X上运行Y的正则回归≤ C和报告R（C）=1-Pni=1^εi，CPni=1（Yi-Y）作为C的函数，其中{εi，C}是该回归的残差，andY=nPni=1Yi。数量R（0）对应于回归中仅包含基线控制的Rin。然后，我们可以研究R（C）如何随C变化，从而将Pen（γ）与R的界限联系起来。这反映了经济学实证应用中的常见做法，即在加入R回归系数时，检验回归估计和R的大小如何变化（见Oster，2019年，进一步讨论和参考）。然而，我们注意到，由于上述不可能的结果，需要额外的假设来证明基于这种程序选择C是合理的。最后，可以形成一个较低的CI[^C，∞) 对于C，评估给定边界笔（γ）的合理性。我们在附录B中给出了这样一个CI。3对于Pen（γ）施加lpconstraint。此类CI可用作规格检查，以确保规则性参数C的选择值不太小。备注3.4（计算问题）。第二步涉及计算正则回归估计的解路径。现有的高效算法可以在以下情况下计算这些路径：l刑罚及其变体（Efron等人，2004年；Rosset和Zhu，2007年）。在下面l惩罚是，正则回归对m有一个闭合的值，因此我们的算法可以再次以计算高效的方式实现。对于其他类型的惩罚，等式中优化问题的凸性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-4-28 16:06:33

（9）我们还注意到，由于解决方案路径π*λ不依赖于C，它只需要计算一次，即使在灵敏度分析中考虑了C的多重选择。4收敛速度我们现在考虑CIs和效率界的渐近行为为n→ ∞. 对于easeof表示法，我们假设所有系数都是约束的，并将重点放在一些p的情况Pen（γ）=kγkP上≥ 1，且外壳笔（γ）=kZγ/√nk（参见示例2.1）。我们允许f或sequencesC=Cn用于笔上的bo und（γ），它可能会变为0或∞ 样本量，以及高维渐近，其中k=kn>> n、我们考虑标准的“高维”设置，在设计矩阵X上放置条件，当i.i.d.在i上绘制i.i.d.时，这些条件以高概率保持，var（（wi，z′i′）的特征值远离零且不完整。让q∈ [0, ∞] 表示p的H？older共轭，满足1/p+1/q=1。我们将证明，当Pen（γ）=kγkp时，最优线性FLCI在raten处收缩-1/2+Crq（k，n），其中rq（k，n）=k1/q/√n如果q<∞,√日志k/√n如果q=∞.. （14）此外，对于p=1和p=2，我们将证明没有其他CI可以以更快的速度收缩。对于p=1，我们事实上将证明一个更强的结果，表明在结果和倾向评分回归中施加稀疏界限，除了Pen（γ）上的界限外，并没有帮助实现更快的速度，除非假设顺序的稀疏性大于Cnpn/log（k）（在蔡和郭（2017）中被称为“超稀疏”情况）。对于情况Pen（γ）=kZγ/√nk，我们将证明最优初始速率由n给出-当k>n时为1/2+C。在C=Cn不随n减小到零的情况下，这些速率需要p<2（因此q>2）才能在k/n时进行一致估计→ ∞.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-4-28 16:06:36

在p=1的情况下，我们可以允许k与n成指数增长，而在1<p<2的情况下，允许k/n→ ∞k在n中以多项式r增长，n依赖于p→ 0规则：即使一个系数被限制在远离零的范围内，这表明在“高维”设置中取p<2，p=1可提供最佳速率条件。从这些结果还可以看出，如果Cn=C不随n减小到零，则偏差项可能在符号上占主导地位，因此即使在大样本中，也有必要明确说明CI构造中的偏差。4.1上界为了说明结果，给定η>0，让En（η）表示存在δ的设计矩阵X的集合∈ Rksuch thatnkw-Zδk≤η、西北′（西）- Zδ）≥ η、 nkZ′（w- Zδ）kq≤rq（k，n）η。让R*FLCI（X，C）=2 cvα（CBλ）*FLCI/V1/2λ*FLCI）·V1/2λ*FLCIdenote最佳线性长度LCI。定理4.1。（i）假设Pen（γ）=kγkp。存在一个仅依赖于η的有限常数Kη，使得R*FLCI（X，C）≤ Kηn-p>1时为1/2（1+Ck1/q），R*FLCI（X，C）≤Kηn-1/2（1+C）√p=1 f或任意X的对数k）∈ En（η）。（ii）假设Pen（γ）=kZγ/√nk。存在一个仅依赖于η的有限常数Kη，使得R*FLCI（X，C）≤ Kη（n）-1/2+C）对于任何X，η≤ w′w/n。由于没有任何控制的短回归获得了C阶的偏差，因此定理的第二部分如下。第一部分表明，如果高阶条件X，则收敛速度的上界与等式（14）中的上界匹配∈ En（η）成立。下一个引理表明，当wi，zi从满足矩和协变量的温和条件的分布中提取i.i.d.时，这种高级条件很可能成立。引理4.1。假设wi，zia在i上画i.i.d.，让δ=argminbE[（wi- z′ib）]z′iδ是wi的总体最佳线性预测误差。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-4-28 16:06:39

支持线性预测误差E[（wi-z′iδ）]k离零有界→ ∞, E[wi]<∞, 而那个苏佩【|（wi）-z′iδ）zij | max{2，q}]<∞ 当p>1时，对于某些c>0时，p（|）（wi- z′iδ）zij |≥ （t）≤ 2经验(-当p=1时，对于所有j。然后，对于任何)η>0，存在η，使得X∈ 概率至少为1的En（η）- ■η对于足够大的n.4.2下限，当p=2或p=1.4.2.1 p=2As时，我们现在显示等式（14）a中的速率在第4节中的上限为锐。1.我们导出了当设计矩阵X在某个集合中时成立的一个界，然后证明了当wi，zia从满足一定条件的分布序列中抽取i.i.d.时，该集合具有很高的概率。我们关注案例k≥ n、 Leten（η）表示设计矩阵X的集合，使得η≤西北≤ η-1，最小eig（ZZ′/k）≥ η、式中，eig（A）表示方阵A的特征值集。定理4.2。设^β±^χ为覆盖率至少为1的CI- Pen下的α（γ）≤ C.（i）如果pen（γ）=kγk，则存在一个常数Cη>0，仅取决于η，使得β=0，γ=0下的预期长度满足E0,0[^χ]≥ cηn-1/2（1+Ck1/2）表示任意X∈eEn（η）。（ii）如果Pen（γ）=kZγ/√nk，在η上存在一个常数cη>0d，使得β=0，γ=0下的预期长度满足E0,0[^χ]≥ cηn-任何X的1/2（1+C）∈eEn（η）。如果zi是i.i.d.除以i，那么EZZ′/k等于n×n单位矩阵乘以scalarkPkj=1E[zij]。因此，只要协变量的二阶矩从下有界，关于ZZ′/k最小特征值的条件将保持矩阵Z′Z上的欠集中条件。在这里，我们陈述了一个特殊情况的结果，其中zij是i.i.d.正常的，这是Donoho（2006，引理3.4）的直接结果。引理4.2。假设wiare i.i.d.o v er i和zijare i.i.d。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-4-28 16:06:44

i和j上的n正规。然后，对于任何|η>0，存在η>0，使得X∈概率至少为1的eEn（η）- 一旦n和k/n足够大，η。4.2.2 p=1我们现在考虑p=1的情况，如例2所示。2.与在高概率的固定设计环境中（如第4.1节和第4.2.1节）对X施加条件相比，我们直接考虑随机设计环境，并且在要求覆盖CI时，我们不以X为条件。这使得我们可以通过证明r在定理中的存在来加强我们定理的结论。1是尖锐的，即使对wigiven Zi加上稀疏性和l该模型中系数的界。我们引入一些额外的符号来覆盖随机设计设置，我们仅在本节中使用。我们考虑一个随机设计模型y=wβ+Zγ+ε，ε| Z，w~ N（0，σIn），w=Zδ+v，v | Z~ N（0，σvIn），zij~ N（0，1）i.i.d.在i，j上。当Y，X遵循这个参数为（β，γ′，δ′，σ，σv′）的模型时，我们使用Pθ和Eθ表示概率和期望。设σ>0和σv，0>0，并设Θ（C，s，η）表示参数集θ=（β，γ′，δ′，σ，σv），其中|σ-σ| ≤ η、 |σv-σv，0 |≤ η、 kγk≤ C、 kδk≤ C、 kγk≤ s和kδk≤ s、定理4.3。设^β±^χ为满足Pθ（β）的CI∈ {^β ± ^χ}) ≥ 1.-当reα<1/2时，所有θi nΘ（Cn，Cn·Kpn/logk，ηn）的α。补充资料→ ∞, Cn√原木k/n→ 0和Cn≤pk/n·k-η对于一些η>0的情况。然后，存在c，如果K足够大，ηn→ 0 sl owlynough，参数向量θ下此CI的预期长度*由β=0，γ=0，δ=0，σ=σ，σv=σv，满足度Eθ给出*[^χ] ≥ c·n-1/2（1+Cn）√当n足够大时，记录k）。理论4。3与蔡和郭（2017）以及贾文马尔和蒙塔纳里（2018）的观点类似，他们为仅采用稀疏边界的情况提供了类似的边界。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-4-28 16:06:47

根据定理4.3，施加稀疏性不允许在仅使用l束缚kγk≤ Cn（从而在理论4.1中获得了大鼠e），除非施加的顺序稀疏性大于Cpn/log k。我们在下一节中提供了与施加稀疏性的CI的进一步比较。5与稀疏约束的比较几位作者使用“双套索”估计量考虑了β的CI（见Belloni等人，2014年；Javanmard和Mont anari，2014年；van de Geer等人，2014年；Zhang和Zhang，2014年）。这些CI在参数spaceeΓ（s）={γ：kγk下有效≤ s} ，其中kγk=#{j:γj6=0}是l“norm”表示γ的稀疏性，相对于n和k的正弦增量足够慢。因为kγkis不是真正的范数或半范数（它是非凸的），所以这不属于我们的设置范围。在这里，我们讨论了与我们在下推导出的最优估计的一些联系l这些双套索估计量的约束（第5.1节），我们提供了一个讨论，比较了我们基于这些估计量的方法（第5.2节）。5.1双套索和最优估计量之间的联系l约束在Pen（γ）=kγk（例2.2）的情况下，解π*λ至（9）是w对Z的倾向评分回归中的套索估计，我们的估计量（10）使用该套索回归的残差。这与最近提出的“双套索”估计器有关，该估计器用于在γ的稀疏性约束下形成β的CIS（参见Belloni等人，2014年；Javanmardand Montanari，2014年；van de Geer等人，2014年；Zhang and Zhang，2014年）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-4-28 16:06:50

具体而言，我们关注Zhang和Zhang（2014）中的估计量，其由^βZZ=^βlasso+（w）给出- Zπ*λ） ′（Y）- w^β套索- ^γ套索（w）- Zπ*λ） w，式中，β套索，γ套索通过在X上回归Y得到套索估计：β套索，γ套索=arg minβ，γkY-wβ-对于某些惩罚参数λ>0，Zγk+|λ（|β|+kγk）。备注5.1。不是说^βzzo在Y中是非线性的，因为套索估计的非线性^β套索^γ套索，这与非凸参数空间的效率目标一致（15）。相反，推论2.1表明，在凸参数空间Γ={γ：kγk≤C} （10）中的估计量^βλ仅在won Z的倾向评分回归中使用lasso，在所有估计量中已经是非常有效的，因此从Y对X的lasso回归或使用其他非线性估计量中获得的实质效率收益没有进一步的作用。为了进一步了解这些估计器之间的联系，我们注意到张和张（2014）通过formk^γ套索的Bounds激励了他们的方法- γk≤~C，其中~C=constsplog k/√n、（16）根据描述设计矩阵X规律性的某些“相容性常数”，该常数很可能保持不变（见B–uhlmann和vande Geer，2011，定理6.1，以及周围讨论中的参考文献）。这表明了初始估计^βlassoby估计^β=β-^β套索在回归中Y=w（β-^β套索）+Z（γ- ^γ套索）+ε=w)β+Z)γ+ε，式中)Y=Y-β套索- Z^γ套索。试探性地，我们可以将界（16）视为一个约束tk~γk≤关于未知参数γ=γ- ^γlassoand搜索∧β=（β）的最优估计量-^β套索）在这种约束下。应用定理2中导出的最优估计。1然后建议估算β-^β拉索维思（w- Zπ*λ） ′Y（w）- Zπ*λ） w.将该估计值添加到张和Z hang（2014）提出的^βlassogives估计值中。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-4-28 16:06:54

尽管Zhang和Zhang（2014）将他们的方法作为一种可能的方法来修正初始估计值^β拉苏界（16），但上述分析表明，他们的修正实际上与在数值上优化该修正的方法相同。使用界（16）可以得出^βZZ- β=b+a*λ′ε式中*λ=（w）- Zπ*λ）（w）- Zπ*λ）在以下条件下，考虑最佳重量：l约束k~γk≤~C，g存在于理论中。1.此外，|b|≤~CBλ，其中Bλ在定理2.1中给出，C在（16）中给出，随机项a的方差*λ′ε由定理2中的Vλ给出。1、使用类似于用于验证理论的参数4。1，由此得出∧CBλ/√Vλ以常数乘以s（logk）为界/√n、因此，只要这个项收敛到零，就可以忽略大样本中的偏差。这导致了张和张（2014）提出的CI，它采用了F{m^βZZ±z1-α/2^V1/2λ}，（17），其中^Vλ是方差Vλ的估计。我们使用术语“double la sso CI”来指代该CI，以及相关CI，如inBelloni等人（2014）提出的CI；贾文马尔·安德蒙塔纳里（2014）；van de Geer等人（2014年）。备注5.2。为了避免不得不假设s（对数k）/√N→ 0原则上，Javanmard和Montanari（2014）提出的估计器可以执行这种形式的数值优化，但约束（16）被|β套索上的约束所取代- β|+k^γ套索- γk。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-4-28 16:06:57

因此，定理2.1表明，对Javanmard和Montanari（2014）中使用的约束进行修改后，yie Lds的估计量与Zhang和Zhang（2014）相同。扩展我们的方法和上述分析，以形成有效的偏差感知CI，即{^βZZ±[~CBλ+z1-α/2^V1/2λ]}不幸的是，在（16）中找到一个足够精确的可计算常数C，从而在实践中产生有用的界限似乎很困难，尽管这是未来研究的一个有趣领域。5.2我们的方法与基于双套索刺激的CI的比较何时应该使用双套索CI，何时应该使用本文中的方法？原则上，这个过程以一个人愿意做出的先验假设为结束，不管这些假设是由一个稀疏边界还是一个凸惩罚函数来最好地捕捉，比如l或l标准在许多情况下，可能很难激发回归函数具有稀疏近似的假设，而系数大小的上界可能更合理。我们提出的CI和估计器的一个关键优势是，在已知误差方差的固定设计高斯模型中，它们具有尖锐的细节、简单的最优性和覆盖保证。虽然这是一个理想的设置，但最坏情况下的偏差计算不依赖于误差分布，并且在非高斯、异方差误差下保持不变。我们的方法直接解释了估计量的潜在有限样本偏差，而不是依赖于偏差项中某些常数收敛到零的“渐近承诺”。这种方法的一个缺点是，我们的CI需要明确选择正则参数C，以形成“偏差感知”CI。相比之下，基于双拉索刺激的CIs不需要明确选择规则性（在本例中为稀疏s），因为它们忽略了偏差。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-4-28 16:07:00

这是在s增长比s增长更慢的渐近条件下证明的√n/logk，这导致^βZZMo re的偏差比其标准偏差下降得快。因此，我们可以说公式（17）中的CI是“渐近有效的”，而不明确指定稀疏指数s：我们只需要做出一个“渐近承诺”，它增长得足够慢。然而，在有限的样本环境下，很难评估这种渐近承诺。事实上，如Li和M¨uller（2020）所示，即使在相对稀疏的环境中，双套索CI也会导致有限样本的欠平均。为了确保等式（17）中CI的良好样本覆盖率，需要确保实际的样本使用略微保守的方法，即添加和细分绑定的CBλ，而不是使用等式（7）中的临界值cvα（CBλ/^V1/2λ），因为βzz的“偏差”项通过第一步估计与ε相关。相对于估计器的标准偏差，样本偏差可以忽略不计。由于任何一个偏差都取决于稀疏指数s（如等式（16）中的界限），这让我们回到必须指定s的状态。因此，忽略偏差的CI，例如基于双套索估值器的常规CI，无法避免指定s或C的问题：他们只会在符号承诺中隐式地做出这样的选择。这些问题在此类CI的渐近分析中正式出现。特别是，双套索CI需要“超稀疏”渐近区域s=o(√n/logk），并且它们在“适度稀疏”区域中渐近隐藏，其中s的增加速度比s的增加速度慢>>√n/log k。事实上，上述定理4.3以及Cai和Guo（2017）和Javanmard和Montanari（2018）的结果表明，如果允许适度稀疏的区域，则不可能避免显式指定s。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-4-28 16:07:04

在光谱的另一端，在“低维”区域<< n、基于长回归，双套索CI与通常的CI在症状上等价。因此，当目标是使用关于γ的先验信息来改善基于长回归的CI时，不能使用doublelasso CI（例如，Muralidharan等人，2020年），即使s足够小，在事先了解s的情况下可以保证这种改善。相比之下，我们的方法最佳地结合了界C，而不考虑渐近状态。附录A证明该附录为正文中的所有结果提供了证明。A.1理论证明2。1为了证明定理2.1，我们首先解释了我们的结果如何运用inDonoho（1994年）、Low（1995年）和Armstrong and Koles\'ar（2018年）进行一般设置。在Armstrong和Koles\'ar（2018）的注释中，（β，γ′）起着参数f的作用，相关函数由L（β，γ′）=β和K（β，γ′）=wβ+Zγ给出。参数空间r×Γ是中心对称的，因此连续性模量（公式（25）Inramstrong和Koles\'ar，2018）由ω（δ）=supβ，γ2βs.t.kwβ+Zγk给出≤ δ/2，Pen（γ）≤ C.使用代换π=-γ/β，我们可以写成ω（δ）=supβ，π2βs.t.βkw- Zπk≤ δ/2，βPen（π）≤ C.（18）设βmodδ，γmodδ和πmodδ=-γmodδ/βmodδ表示该问题存在时的解决方案。在Armstrong和Koles\'ar（2018）的注释中，（βmodδ，γmodδ′）起到了g的作用*δ、和溶液（f*δ、 g*δ）满足f*δ= -G*δ= -（βmodδ，γmodδ′）的中心对称性。这个优化问题显然与等式（9）中的问题有关：我们想- Zπ和Pen（π）很小，因此β的la r ge值满足（18）中的约束。下面的引理将连接形式化。引理A.1。如果存在π∈ 使得w=Zπ，Pen（π）=0，那么ω（δ）=∞ 无论如何≥ 0

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-4-28 16:07:08

否则，（i）对于任何δ>0，模问题（18）有一个解βmodδ，πmodδ与βmodδ>0。对于tλ=C/βmodδ=2C/ω（δ），该解πmodδ也是具有优化目标kw的惩罚回归（9）的解-Zπmodδk=δ/（2βmodδ）=δ/ω（δ）>0；（ii）对于任意tλ>0，惩罚回归问题（9）有一个解π*λ. 设置β*λ=C/tλ和Δλ=2β*λkw-Zπ*λk=（2C/tλ）kw-Zπ*λk，对β*λ, π*λ在δ=Δλ时解决模量问题（18），优化目标ω（Δλ）=2C/tλ，因此长为s kw- Zπ*λk>0。证据如果存在π∈ 当结果立即出现时，w=Zπ，Pen（π）=0。假设不存在这样的π。首先，我们证明问题（9）有一个解决方案。设G（0）表示向量π的线性子空间∈ 使Zπ=0，Pen（π）=0，设G（1）为子空间，使G=G（0）⊕ G（1），这样我们就可以写出π∈ G唯一为π=π（0）+π（1），其中π（0）∈G（0）和π（1）∈ G（1）。注意，Zπ=Zπ（1），并且，两次应用trπ不等式，Pen（π（1））=Pen（π（1））- 笔(-π(0)) ≤ Pen（π）≤ Pen（π（0））+Pen（π（1））=Pen（π（1）），所以that-tPen（π）=Pen（π（1））。因此，问题（9）可以写成π（1）∈ 仅限G（1）。这个优化问题的水平集是封闭的，并且是通过半模笔的连续性来封闭的（Goldberg，2017），因此它有一个解，这也是原问题的一个解。类似地，为了证明问题（18）有解，请注意β的可行值由一个常数乘以最大{kw的最小值的倒数来限定- Zπk，Pen（π）}在π上，这是严格正的，由Pen（π）的连续性决定，并且事实上不存在最大{kw的π- Zπk，Pen（π）}=0。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群