因此，我们可以在不改变优化问题的情况下，将β、~π（1）限制为一个紧集。为了显示引理中的第一个陈述，请注意βmodδ>0，因为设置π=0和β=δ/（2kwk）是可行的，并且-Zπmodδk>0，否则，通过将πmodδ乘以1，可以获得更大的β值-ηforη>0足够小。现在，如果Firststatement不成立，则会存在一个带Pen的!π（!π）≤ C/βmodδ使得kw-Z~πk≤千瓦- Zπmodδk- 对于足够小的ν>0。然后，让∧πη=（1- η） ~π，我们会-Z~πηk≤ 千瓦-Z~πk+ηkZ~πk≤ 千瓦-Zπmodδk-ν+ηkZπk≤ δ/（2βmodδ）-所以，对于足够小的η，kw- 对于足够小的η和Pen（∧πη），Zπηk将严格小于δ/（2βmodδ）≤ (1 - η） C/βmodδ<C/βmodδ。这是一个矛盾，因为通过设置π=～πη，它将允许β的值急剧增大。第二条语句紧跟其后，因为满足δ=Δλ的模量（18）中的约束条件的任意一对∧β，∧π，其中∧β>β*λ必须有千瓦- Z~πk<kw- Zπ*λk在保持约束笔（π）时*λ) ≤ tλ。现在我们证明定理2.1。在Armstrong和Koles\'ar（2018）的非标准化中，偏差方差优化估计的类^Lδ由（wβmodδ+Zγmodδ）′Y（wβmodδ+Zγmodδ）′w给出，其中我们使用eq。

（26）Inramstrong和Koles\'ar（2018）在中心对称下计算该估计器的形式，引理D.1 Inramstrong和Koles\'ar（2018）计算导数ω′（δ），因为该问题与参数β=1，γ=0给出的ι具有平移不变性。给定λ和kw- Zπ*λk>0，它由Lemma得出。1对于引理中给出的Δλ，该估计量^LΔλ等于^βλ=a*λ′Y其中a*λ=w-Zπ*δ（w）- Zπ*δ） \'w，如理论2所定义。1.定理2.1中公式的最坏情况偏差来自这样一个事实，即在γ=-γmodΔλ=Ct-1λπ*λ由引理A.1 Inramstrong和Koles\'A r（2018）提出（或引理4在Donoho，1994年）。A.2推论2.1的证明引自Low（1995年）。特别是考虑一维子模型β∈ [-C/tλ，C/tλ]，γ=-π*λβ. 设bλ=（w）- Zπ*λ） /kw- Zπ*λk，设B∈R（n）-1） 与bλ正交的正交矩阵。注意，在这个子模型中，B′Y=B′（w- Zπ*λ） β+B′ε=B′ε，不依赖于未知参数β，与B′λY无关。因此，b′λY~ N（β，kbλkσ）是该子模型中的一个有效统计量。根据Low（1995）的定理1，在这个子模型中，估计量^βλ=a*λ′Y=κb′λY，其中κ=kw-Zπ*λk/（w）-Zπ*λ） 在所有估计量δ（Y）中，w使supβvar（δ（Y））与upβ| Eβ[δ（Y）]- β|≤ (1 - κ） C/tλ=CBλ，同样，它最小化supβ| Eβ[δ（Y）]- β|在所有具有supβvar（δ（Y））的估计量中≤ κσkbλk=Vλ。最坏情况下的biasbiasΓ（^βλ）≤ 根据定理2.1，CBλ和方差（^βλ）=Vλ在整个模型中是相同的，结果如下。推论2.1的第（ii）部分直接来自Donoho（1994）。尤其是κ*MSE（X，σ，Γ）=supδ>0（ω（δ）/δ）ρN（δ/2，σ）supδ>0（ω（δ）/δ）ρA（δ/2，σ）≥ 0.8，其中ω（δ）在等式中定义。

（18） 和ρa和ρn分别是有界正态均值问题Y中有效估计量之间和所有估计量之间的极大极小风险~ N（θ，σ），|θ|≤ τ、 定义了inDonoho（1994），最后一个不等式来自Donoho（1994）的等式（4）。最后，推论2.1的第（iii）部分来自Armstrong和Koles\'ar（2018）的推论3.3，其中包含κ*FLCI（X，σ，Γ）=（1）-α） E[ω（2）（z1-α- Z） ）|Z≤ z1-α] 2minδcvαω(δ)2ω′(δ)-δω′（δ），其中Z~ N（0，1），ω（δ）在等式（18）中给出，并且由Armstrong和Koles\'ar中的引理D.1给出，因为该问题与参数β=1，γ=0，ω′（δ）=δ/[w′（w）给出的ι具有平移不变性- Zπmodδ）·ω（δ）]。当α=0.05时，普适下限b为0.717，遵循定理4.1 Inramstrong和Koles\'ar（2020b）。A.3理论证明4。1证明声称的上限适用于X∈ En（η），我们首先注意到，由于基于FLCI的n^βλ*FLCI比基于任何线性估计量a′Y的FLCI短，这有助于证明存在一系列权重向量a，使得最坏情况下的偏差和标准偏差以常数乘以n为界-p>1或n时的1/2（1+Ck1/q）-1/2（1+C）√当p=1时，记录k）。我们考虑了权重ai=viPnj=1vjwj，其中vi=wi-z′iδ，δ在E（η）的定义中给出。估计器的方差a′Y isPni=1vi（Pni=1viwi）≤ η-3/n.最坏情况偏差为pγ：kγkp≤C~a′Zγ=CkZ′akq=n-1/2Cn-1/2kZ′（w- Zδ）kqn-1|w′（w- Zδ）|≤ Crq（k，n）η，其中第一个等式后面是H¨older不等式，最后一个质量后面是En（η）的定义。这就产生了收敛速度n-1/2+Crq（k，n），如所述。对于第（ii）部分，通过类比推理，有必要考虑短回归估计量β=w′Y/w′w。该估计量的方差为σ/w′w≤ η-1σ/n。估计量的偏差为w′Zγ/w′w。根据Cauchy-Schwarz不等式，该量的绝对值以kw/w′wkkZγk=kZγ为界/√nk/pw′w/n≤ η-1/2C。

这就产生了期望的收敛速度。A.4引理的证明4。1根据最佳线性预测器的正交性条件，我们得到E[wivi]=E[vi]，其中vi=wi- z′iδ，根据假设从下方均匀地有界于k。因为E[wivi]从上方以Ewi<∞, 它遵循三棱角数组的大数定律，即npni=1wivi≥ η足够小时，概率接近1。类似地，nPni=1vi≤ 1/η表示足够大的η，根据三角形射线的大数定律。对于En（η）定义中的最后一个不等式，首先考虑p>1的情况，以便Q<∞. 然后我们有了Ek√nPni=1zivikqq=EPkj=1 | Pni=1vizij/√n | q≤ k·k byvon Ba hr（1965），其中k是一个常数，仅依赖于maxjE[|vizij | max{q，2}]的上界。应用马尔可夫不等式g得到所需的界。当p=1时，q=∞ 所以√nnXi=1ziviQ≥ η-1plog k≤kXj=1P√nnXi=1vizij> η-1plog k！，以2k exp为界(-K·η-2log k）=2k1-Kη-2通过Hoe fff ding’sinesequality对次高斯随机变量的某些常数K（Vershynin，2018，定理2.6.3）。根据需要，通过使η变小，可以使其在k中均匀地变小。A.5理论证明4。2根据推论2.1（iii），必须给出R的界*FLCI（X，C）。我们首先注意到，任何没有确定的最坏情况偏差的估计量a′Y必须满足a′w=1，这意味着1≤ kak·kwkby利用Cauchy-Schwarz不等式，使方差σa′a有界于σ/kwk≤ ση-1/n。因此，有必要证明最坏情况下的偏差是由常数乘以C（k/n）1/2（对于（i））或常数乘以C（对于（ii））限定的。对于第（i）部分，设∧γ=-Cηpk/nZ′（Z′Z）-1w。观察Pen（γ）=C（k/n）ηpw′（Z′Z）-1w≤Cη·（最大eig（Z′Z/k）-1） 1/2pw′w/n≤ C.设∧β=Cηpk/n，然后wβ+Zγ=0。

因此，~β，~γ在观测上等同于参数向量β=0，γ=0，这意味着任何CI的长度必须至少为Cηpk/n。第（ii）部分，后面是一个类似的参数，其中~γ=-Z′（ZZ′）-1w·Cη1/2和)β=Cη1/2。A.6理论证明4。3由于c·n的下限-1/2根据有限维参数的标准效率界限（例如，取δ=γ=0的子模型），我们显示了下限eθ*^χ ≥中国·c·√日志k/√n、 为了证明这一点，我们遵循蔡和郭（2017，定理3）以及贾文马尔和蒙塔纳里（2018，命题4.2）基本相同的论点，注意到对于下限中使用的分布，对kδk和kγk的要求成立。在agiven参数向量θ=（β，γ′，δ′，σ，σv）下，数据（Yi，wi，zi′）为i.i.d.正态，均值为零，方差矩阵∑θ=σ+β（σv+kδk）+2βδ′γ+kγkβ（σv+kδk）+γ′δβδ′+γ′β（σv+kδk）+γ′δv+kδδ′βδ+γδIk.设fπ表示参数服从先验分布π时数据{Yi，wi，zi}ni=1的分布，设χ（fπ，fπ）表示先验分布π和π的这些分布之间的卡方距离。根据引理1 inCai和Guo（2017），它有助于在参数空间Θ（Cn，Cn·Kpn/log k，ηn）上找到先验分布π，使得π在β=β1上的概率为1，对于一个|β1，n |从下方以常数Cn为界的序列√日志k/√n，这样χ（fπ，fπ）→ 0，其中π是概率1在θ上的分布*在定理陈述中给出。为此，我们首先注意到，我们可以假设σ=σv，0=1，而不丧失一般性，因为将Yi和Wi除以σ和σv，0会得到同一个模型，其参数乘以常数，仅限于σ和σv，0。设π由集合上δ的一致先验定义，其中kδk=s和每个元素δj∈ {0，ν}，其中s和ν将在下面确定。

然后，我们将剩余参数设置为δ：β=-kδk/（1）- kδk），γ=（1- β） δ，σv=1- kδkσ=（1）- 2kδk）/（1- kδk）。我们注意到kδkis常数在这个先验下，所以β是所需的aunit点质量。这导致了变异矩阵∑θ=10δ′01δ′δIk对于支持π的θ和∑θ*= 点质量π下的Ik+2。现在它来自eqs。（118）和（119）inJavanmard和Montanari（2018）（这是Lemmas2和3在Cai和Guo（20 17）中的应用）认为χ（fπ，fπ）≤ 埃斯克-s1+sk（e4nν）- 1)s-1.我们设置ν=(√cν/2）·√日志k/√对于一些cν>0，因此e4nν=kcν。然后我们将s设置为小于Cn/ν=（2Cn）的最大整数/√cν）·(√n/√日志k）。条件是≤pk/n·k-■η对于某些■η>0，则保证≤ kψ表示一些ψ<1/2，因此上述显示以ek2ψ为界-1(1-kψ-1)-1.1+sk2ψ-1（kcν）- 1)s-1.如果选择足够小的cν，使2ψ+cν<1，则这会根据需要收敛到零。最后，我们注意到，在π下，kδk=（1+o（1））sν=（1+o（1））Cnν=（1+o（1））·Cn(√cν/2）·√日志k/√n和|β|=kδk（1+o（1））=（1+o（1））Cn(√cν/2）·√日志k/√n、 因此，我们得到了Cn·c的一个下界·√日志k/√n根据需要。附录B附加结果我们提供了一些附加结果，这些结果对于未知误差方差的实际实施以及评估假设Pen（γ）的合理性非常有用≤ C.附录B。1考虑了全局估计回归函数的问题，并在此问题中导出了正则回归估计的性质。附录B。2.将此估计器用作初始估计器，用于构造具有未知误差方差的标准误差的残差。附录B。3表示C的较低CI，可用于评估假设Pen（γ）的合理性≤ C.在本节的大部分内容中，我们主要关注Pen（γ）=kγkp，带k的情况→ ∞ 和k/n→ 0.我们使用以下符号。

设θ=（β，γ′）和X=（X，X），其中X=（w，Z）和X=Z。我们相应地分配θ，θ=（β，γ′）和θ=γ。设HX=X（X′X）-1X′和MX=I- HXdenote在X及其正交补的列空间上的投影。对于本节中的一些结果，我们考虑了εi的分布未知且可能为非高斯分布的可能性，这需要一些额外的符号。我们考虑了ε在一类Qnof分布上的覆盖率，我们用Pθ，qa和Eθ，qt来表示根据Q绘制数据Y时的概率和期望∈ Qnandθ=（β，γ′）∈ R×Γ，我们使用符号pq和eqf表示只依赖于ε而不依赖于θ的表达式。在每个Q下，εi独立于i∈ Qn。B.1整体估计回归函数考虑θ的正则化回归估计，由^θ=argminθkY给出-Xθk/n+λkθkp。（19） 我们首先给出^θ的一个基本性质，遵循标准参数（见B–uhlmann and van de Geer（2011年，第6.2节）和van de Geer（2000年，第10.1章）），并得出该估计的收敛速度f。在附录的其余部分，使用估计器构造具有未知误差分布的可行CI，并为正则性参数C.引理B.1构造一个较低的CI。如果k2x′MXεkq/n≤ λ、 那么kmxx（^θ）- θ） k/n+（λ）- λ） k^θkp≤ （λ+λ）kθkp。证据我们可以把目标函数写成askHXY-Xθ- HXXθk/n+kMXY- MXXθk/n+λkθkp。对于任何θ，目标的第一部分可以通过取θ=（X′X）设置为零-1X′Y-（X′X）-1X′Xθ。因此，^θ=argminθkMXY- MXXθk/n+λkθkp，其中θ=（X′X）-1X′Y+（X′X）-1X′X^θ。

这意味着HXε=HXY- HXX′θ=HXX′（^θ）-θ） ，所以kx（^θ）-θ） k/n=kHXεk/n+kMXX（^θ）- θ） k/n，（20）利用^θ得到的目标值低于真实参数值θ这一事实，我们得到了lpversion是什么l案例B–uhlmann和van de Geer（2011，Lemma6.1）术语“基本不等式”，kMXX（^θ）-θ） k/n+λk^θkp≤ 2ε′MXX（^θ）-θ） /n+λkθkp。通过H¨older不等式，我们得到了2ε′MXX（^θ）-θ) ≤ k2X′MXεkqk^θ-θkp，所以在t轴上k2X′MXεkq/n≤ λ、 我们有Kmxx（^θ）-θ） k/n+λk^θkp≤ λk^θ- θkp+λkθkp≤ λk^θkp+（λ+λ）kθkp，这意味着结果。我们现在使用这个结果来推导公式（19）中正则回归估计的收敛速度，以估计公式（19）中的回归函数l丧失为了简单起见，我们对满足某些充分条件的惩罚参数使用固定序列。在实践中，交叉验证等数据驱动的方法可能很有吸引力。我们讨论了另一种基于RemarkB中的中度偏差的可能性。1见下文附录B.3。我们的目的是提供简单的充分条件，使该估计器能够用于辅助假设，如标准误差构造，我们将对此类扩展的分析留给未来的研究。定理B.1。假设对于某些η>0，对于所有n和所有Q∈ Qn，当p>1a和PQ（|εi |>t）时，我们有eq[|i | max{2+η，q}]<1/η≤ 2经验（-ηt）当p=1时。假设mxx的元素在n上均匀地由某个常数kxu限定。设^θ为eq.（19）w i thλ=Knrq（k，n）中定义的回归估计量，其中Kn→ ∞ 式（14）中给出的andrq（k，n）。然后是supθ∈Rk+1supQ∈QnPθ，QkX（^θ）-θ） k/n>Kn（k/n+2kθkprq（k，n））→ 0，证据。莱玛。1和引理B.2，我们有kMXX（^θ）-θ） k/n≤ 2Knkθkprq（k，n），概率在θ上一致逼近1∈ Rk+1和Q∈ Qn。

此外，由于秩为（k+1）/n且等式为εε′的轴幂等元是对角的，且元素在Q上有界∈ Qn，我们有EQkHXεk/n≤对于某些常数K，Kk/n。结果遵循马尔可夫不等式和等式（20）。引理B.2。在定理B.1的条件下，对于序列Kn→ ∞, 我们有∈QnPQ（k2X′MXεkq/n≤ Knrq（k，n））→ 1.证据。设xij=（2MXX）ij。for q<∞, 我们有eqk2x′MXεkqq=EQkXj=1nXi=1xijεi！Q≤ k·k·nq/2对于一些仅依赖于η、q和KX的常数k t，byvon Ba hr（1965）。结果随后是马尔可夫不等式。对于q=∞, 我们有k2X′MXεkq/n>Knplog k/√N= PQmaxjnXi=1xijεi/n>knlog k/√N其中，对于某些K>0，以2kexp为界(-~K·Knlog K）=2k1-~K·Kn→ 0，由Hoe ff ding’sinequality提供，适用于亚高斯随机变量（Vershynin，2018，Thm.2.6.3）。B.2标准误差我们考虑正文中考虑的形式为^β=a′Y的线性估计的标准误差。我们假设权重a是非随机的：它们可以依赖于X，但不依赖于Y。设θ为θ的估计，设ε=Y- X^θ。考虑估计器^V=Pni=1ai^εiofVQ=varQ（a′Y）=Pni=1EQεi。允许权重a依赖于n，因此a，anis是一个三角形数组，而不是一个序列，但我们在符号中保留了这一点。我们考虑可行偏差感知CI^β±cvα（偏差Γ（偏差β）/p^V）·p^V的覆盖范围，其中偏差Γ（偏差β）是（6）中给出的参数空间Θ=R×Γ的参数θ=（β，γ′）的最坏情况偏差。我们首先给出了任意参数空间Θ的一般结果。然后我们专门研究Θ=R×Rk×{γ：kγk的情况≤ Cn}和残差εi是使用附录B中的正则化回归形成的。1.定理B.2。

假设，对于某些η>0，η≤ EQεi和EQ |εi | 2+η≤ 1/η表示所有i和所有Q∈ Qn，还有√ncnmax1≤我≤nai/Pnj=1aj→ 0和infθ∈Θ，Q∈QnPθ，Q（kX（^θ）- θ） k≤（中国）→ 1对于某些序列CNCN/√它从一个角落跳了出来。然后，对于任何δ>0，infθ∈Θ，Q∈QnPQ|（^V）- VQ）/VQ |<δ→ 1.此外，lim infinifθ∈Θ，Q∈QnPQβ ∈n^β±cvα（偏差Γ（^β）/p^V）·p^Vo≥ 1.- α. （21）证据。我们有^V-VQVQ=Pni=1ai（εi）-εi）VQ+Pni=1ai（εi）- 式εi）VQ。设∧bi=ai/Pnj=1ai。第二项以| Pni=1bi（εi）为界-式εi）|/η。该量的绝对1+η矩由常数时间pni=1b1+ηi·1/η1+ηbyvon Bahrand-Esseen（1965）确定。这是以max1为界的≤我≤nbηi·Pni=1bi/η1+η=max1≤我≤n~bηi/η1+η→ 0.第一项以max1为界≤我≤n/bi/ηtimesnXi=1 |εi-εi |=nXi=1 |εi+εi |·|εi- εi|≤ k^ε+εkk^ε- εk≤ （k^ε）- εk+2kεk）k^ε- εk对于一些只依赖于η的常数k，我们有2kεk≤ K√n的概率在Q上接近一个统一∈ Qn。自k^ε- εk=kX（^θ）-θ） k≤ Cn因此，上述显示以（K）为界限√n+cn）·n概率在θ上接近一个单位∈ Θ，Q∈ Qn。在cn的条件下，对于任何δ>0，infθ∈Θ，Q∈QnPQ（^V）- VQ）/VQ< δ→ 1.CI的覆盖范围随后来自TheoremF。1 Inramstrong和Koles\'ar（2018），通过使用权重和力矩边界来验证Lindeberg条件（见引理F.1 Inramstrong和Koles\'ar（2018））的中心极限定理条件。L ind（a）=max1的条件≤我≤nai/Pnj=1可以根据具体情况进行检查，也可以通过在确定最佳权重的优化问题中加入Lind（a）的界限来直接施加。在后一种情况下，我们注意到，通过定理4的证明。1、在一定条件下的最优利率lPconstraint可以通过一个线性FLCI实现，其权重与wi成比例-z′iδ，其中pni=1（wi-z′iδ）从下方以常数乘以n为界。

如果wi-z′iδ是有界的，因此，如果我们施加上界n Lind（a），我们可以获得最优的收敛速度≤对于一些大常数K（或者更一般地说，我们可以在适当的条件下，在Cn和p上，允许束缚K随n增加）。当设计矩阵为wi- z′iδ是用wizi预测wizi的总体最佳线性预测误差，因此这本质上需要关于这一最佳线性预测误差的尾部条件。用于TheoremB中的设置。1，我们可以取cn=pKnn（k/n+Cnrq（k，n））作为缓慢增加的常数Kn，只要是aspKn（k/n+Cnrq（k，n））·n Lind（a）→ 0.这将给出以下结果。推论B.1。假设，对于某些η>0，η≤ EQεi和EQε2+ηi≤ 1/η适用于所有土地Q∈ Qn，设^ε为（19）中正则化回归的残差，λ在定理B.1中给出，对于某些Kn→ ∞, 假设定理B.1中的条件成立。然后，ifpKn（k/n+Cnrq（k，n））·n Lind（a）→ 0时，覆盖结果（21）保持为Θ=R×Rk×{γ：kγk≤ Cn}。为了解释Lind（a）的条件，考虑kis固定的情况，k/n→ ∞ Cn的界远离零。然后Lind（a）上的条件降低了topKn·Cnrq（k，n）·n Lind（a）→ 0.还要注意，在这种情况下，Cnrq（k，n）是定理4中^β的最佳收敛速率。1.因此，在这种情况下，我们需要n Lind（a）比^β的最优收敛速度的平方根的倒数增长得更慢。特别地，如果n Lind（a）有界为n→ ∞, 然后，我们总是可以构造一个可行的、具有偏差意识的、渐近有效的cit。如上所述，该界限可在不影响CI宽度收敛速度的情况下，基于权重使用。B.3 CWe的较低CI表示规律性参数C的较低CI，可用于评估假设Pen（γ）的可行性≤ C

设^θ（λ）表示（19）中给出的γ的正则回归估计量，带有惩罚λ。让λ*α表示1的上界- k2X′MXεkq/n的α量。设^C=supλ>λ*αλ - λ*αλ + λ*αk^θ（λ）kp。（22）在理想的有限样本设置下，ε~ N（0，σIn），已知σ，λ*α可以精确计算，所以^Cis是可行的。定理B.3。设（22）中给出的^Cbe为λ*α由1给出-k2X′MXεkq/n的α分位数。然后，对于任何β，γ，γ和kγkp≤ C、 我们有Pβ，γ，γ（C∈ [^C，∞)) ≥ 1.- α.证据它来自LemmaB。1在事件k2X′MXεkq/n上≤ λ*α（概率至少为1）-α），我们有λ-λ*αλ+λ*αk^θ（λ）kp≤ kγkp≤ C表示所有λ>λ*α.因此，这个集合中λ上的这个量的上确界在这个事件上也不大于C。当误差分布未知且在p=1的情况下可能是异方差时，我们现在给出了该CI的一个可行版本。设xij=（M′XX）ij。因为q=∞ 在这种情况下，我们需要选择^λ*α使得2kxm′Xεk∞/n=max1≤J≤KnXi=12xijεi/n≤^λ*概率至少为1的α- 渐近α。L et^Vj=Pni=1（2xij/n）^εi，其中^εi是初始正则化回归的剩余值，λ选择为定理B中的λ。1对于缓慢增加的Kn。这导致临界值^λ的中度偏差*α、 设定α=kXj=12Φ(-^λ*α/^V1/2j）。（23）备注B.1。理论分析。正则化回归估计（19）中的1个依赖于选择大于2kXM′Xεk的惩罚参数t∞/n具有高概率，这正是临界值^λ的目标*α在（23）中给出。

这意味着一个迭代过程，其中使用^λ*在使用满足定理B.1条件的初始惩罚选择来形成用于计算^λ的残差后，α（可能有一些序列α缓慢地变为零）作为回归（19）中的数据驱动的p enalty参数*α.刑罚选择^λ*在误差分布未知的情况下，α与数据驱动的套索惩罚选择有关。Belloni等人（2012年）使用类似的想法来选择该设置下的惩罚参数l约束，尽管我们的实现有些不同，因为我们的参数空间限制了我们对每个参数施加的惩罚载荷。而λ*α不考虑力矩之间的相关性，可以使用自举实现来考虑这些相关性，如ChernoZhukov等人（2013）所建议的。定理B.4。假设，对于某些η>0，TheoremB的条件。1保持p=1，且该NPNI=1xij≥ η对于j=1，k表示所有n，式中xij=（MXX）ij。让^λ*用正则化回归（19）中的残差^ε形成的^vjn（22）给出α，惩罚λ在T h eoremB中选择。1对我来说是如此→ ∞ 有Kn（k/n+（Cn+1）√日志k/√n） ·（对数k）→0.那么，lim supnsupβ，γ：kγk≤CnsupQ∈QnPθ，Qmax1≤J≤k | Pni=12)xijεi/n |>^λ*α≤ α. 特别是，让^Cbe在（22）wi和λ中给出*α给定b y^λ*α、 我们知道β，γ：kγk≤CninfQ∈QnPθ，QCn∈ [^C，∞)≥ 1.- α.证据设Vj=Pni=1（2~xij/n）εi，设VQ，j=Pni=1（2~xij/n）EQεi。注意| Vj-~Vj|=nXi=1（2~xij/n）（εi）- εi）=nXi=1（2~xij/n）（εi+εi）（εi）- εi）≤ （2KX/n）k^ε+εkk^ε- εk≤ （2KX/n）（2kεk+k^ε- εk）k^ε- εk.当2kεk≤√n~K和K^ε-εk=kX（^θ）-θ） k≤pnKn·（k/n+2Cnplog n）/√n） 1/2，其概率在Q上一致接近1∈ qn当K足够大时，它以（2KX/n）（~K）为界√n+√nKn（k/n+2Cn）√日志k/√n） 1/2）·√nKn（k/n+2Cn）√日志k/√n） 1/2。

自从VQ，j≥ η/n在j和n上均匀分布，对于某些)η>0，这意味着，在这个事件中，max1≤J≤K^Vj-~Vj/VQ，jis以4η为界-1（KX/n）（K）√n+pnKn（k/n+2Cnplog k/√n） 1/2）·pnKn（k/n+2Cnplog k/√n） 1/2，它又以常数乘以K1/2n（k/n+2Cn）为界√日志k/√n） 1/2秒后，这个量收敛到零。此外，请注意（~Vj-VQ，j）/VQ，j=Pni=1aij（εi）-式中εi）/n，式中aij=~xij/（nVj，Q）≤KX~η-1和∧η是nVQ，j的一个较低的边界。利用这个边界和εi上的尾界，可以从Bernstein关于次指数随机变量的不等式得出，对于δ<1，PQ（| Vj）- VQ，j |/VQ，j≥ δ） 由2 exp（-cnδ）对于某些常数c，它只依赖于KX，η和η。因此，对于任意序列δn，我们有PQ（max1≤J≤k | Vj-VQ，j |/VQ，j≥ δ) ≤ 2kexp(-cnδn），只要δn从下到下有足够大的常数倍，它就会收敛到零√日志k/√n、 这给出了^Vj/VQ，jto的收敛速度，通过t7的连续微分→√t=1时，给出了q^Vj/pVQ，j的相同速率。特别是，让Cn以足够大的常数乘以K1/2n（k/n+（Cn+1）√日志k/√n） 1/2，eventmax1≤J≤Kq^Vj/pVQ，j- 1.≤ cnholds的概率一致逼近1∈ Qnandβ，γ与kγ≤ 中国。在这个事件中，我们有α=kXj=12Φ(-^λ*α/q^Vj）≥kXj=12Φ(-^λ*α/（pVQn，j（1）- cn）））。因此，让λα，nsolveα=Pkj=12Φ(-λα，n/（pVQn，j）），我们有^λ*α/(1 -cn）=λα，对于某些α≤ α、 所以^λ*α/(1 - （中国）≥ λα，n。由此可知，在kγkp的任意参数序列下，非覆盖概率≤ cnn和任意序列Qn∈ Qnis由一个收敛到零的项所限定≤J≤KnXi=12xijεi> (1 - cn）λα，n！≤kXj=1Fn，j(-(1 - cn）λα，n/pVQn，j）=kXj=12Φ(-λα，n/pVQn，j）·An，j·Bn，j，其中Fn，j（t）=PQnPni=12xijεi/pVQn，j> T, An，j=Φ(-(1-cn）λα，n/√VQn，j）Φ(-λα，n/√VQn，j）和Bn，j=Fn，j(-(1-cn）λα，n/√VQn，j）2Φ(-(1-cn）λα，n/√VQn，j）。

SincePkj=12Φ(-λα，n/pVQn，j）=α通过定义，可以证明→∞max1≤J≤kmax{An，j，Bn，j}≤ 1.对于An，j，我们使用界Φ(-s） /Φ(-（t）≤ [s]-1/（t）-1.-T-3） [exp（（t-s） /2）这是从装订开始的-1.-T-3） 经验(-t/2）/√2π ≤ Φ(-（t）≤ T-1exp(-t/2）/√2π在引理2中给出，第7.1节inFeller（1968）），其中给出了San，j≤(1 - （中国）-11- （λα，n/pVQn，j）-2exp[1 - (1 - cn）]λα，n/（2VQn，j）.使用标准计算和nVQn，jis从上到下一致有界的事实，我们得到（logk）/k≤ λα，n/VQn，j≤ K log K表示某个常数K。因此，上述显示的右侧在n和1上均匀收敛为1≤ J≤ k，再见→ 0，这是由定理的假设所决定的。对于Bn，j，我们使用一个中等偏差界作为inFeller（1971年，第16.7章）。特别是界|Fn，j（t）/（2Φ（t））- 1| ≤~Kt/√n代表所有1≤ t<tn，其中tn是带有tn/n1/6的任何序列→ 0，和＠K仅取决于t以及εi上的力矩条件和尾界（Armstrong和Chan，2016，引理B.5）。利用λα，n/pVQn，jis以常数倍为界的事实√log k，由此得出lim supn→∞max1≤J≤kBn，j≤ 1索隆as（日志k）3/2/√N→ 0，这是由定理的条件保证的。参考阿姆斯特朗，T.B.和陈海平（2016）。条件动量不等式的多尺度自适应推理。生态计量学杂志，194（1）：24-43。阿姆斯特朗，T.B.和科尔斯阿尔，M.（2018）。一类回归模型中的最优推理。《计量经济学》，86（2）：655-683。阿姆斯特朗，T.B.和科尔斯阿尔，M.（2016）。一类回归模型中的最优推理。arXiv:1511.0602 8v2。阿姆斯特朗，T.B.和科尔斯塔尔，M.（2020a）。有限样本最优估计和推断不确定条件下的平均治疗效果。arXiv:1712.04 594。阿姆斯特朗，T.B.和科尔斯阿尔，M.（2020b）。使用近似动量条件模型进行灵敏度分析。

《定量经济学》，即将出版。贝洛尼，A.，陈，D。，Chernozhukov，V.和Hansen，C.（2012年）。优化工具的稀疏模型和方法，并应用于征用权。Eco nometrica，80（6）：2369-2429。贝洛尼，A.，切尔诺朱科夫，V.，和汉森，C.（2014）。在高维对照组中，关于治疗效果的推断会影响选择后的结果。《经济研究评论》，81（2）：608-650。贝洛尼，A.，切尔诺朱科夫，V.，和王，L.（2011）。平方根套索：通过圆锥曲线编程恢复解析信号的关键。Bi ometrika，1（4）：791-896。B–uhlmann，P.和van de Geer，S.A.（2011）。高维数据统计：方法、理论和应用。施普林格，柏林，海德堡。蔡铁涛，郭，Z.（2017）。高维线性回归的置信区间：极大极小率和适应性。《统计年鉴》，45（2）：615-646。坎德斯、E.和陶，T.（2007）。Dantzig选择器：当p大于n时的统计估计。统计年鉴，35（6）：2313–2351。切诺朱科夫，V.，切特韦里科夫，D.，a和加藤，K.（2013）。G aussian近似和高维随机向量和最大值的乘法器引导。《统计年鉴》，41（6）：2786-2819。Donoho，D.L.（1994年）。统计估计和最佳回收率。《统计年鉴》，22（1）：238-270。多诺霍，D.L.（2006年）。对于大多数大型欠定线性方程组l-范数解也是最稀疏的解。《纯粹和应用数学通讯》，59（6）：797–829。埃夫隆，B.，黑斯蒂，T.，约翰斯通，I.M.，和蒂布什拉尼，R.J.（2004）。最小角度回归。《统计年鉴》，32（2）：407-451。费勒，W.（1968）。概率论及其应用导论，第1卷。威利，纽约，纽约，第三版。费勒，W.（1971）。概率论及其应用导论，第2卷。威利，纽约，纽约。戈德伯格，M。

(2017). 有限维向量空间上半形式的连续性。线性代数及其应用，515:175–179。东北赫克曼（1988）。半参数模型中的极小极大估计。美国统计协会杂志，83（404）：1090-1096。Ibragimov，I.A.和Khas\'minskii，R.Z.（1985）。关于高斯白噪声中线性泛函值的非参数估计。概率论及其应用，29（1）：18-32。Imbens，G.和Wager，S.（2019年）。优化回归不连续设计。《经济与统计评论》，101（2）：264–278。贾文马尔，A.和蒙塔纳里，A.（2014）。高维回归的置信区间和假设检验。机器学习研究杂志，15（82）：2869-2909。贾文马尔，A.和蒙塔纳里，A.（2018年）。减少套索：高斯设计的最佳样本量。《统计年鉴》，46（6A）：2593-2622。Koles\'ar，M.和Rothe，C.（2018年）。离散变量回归不连续设计中的推理。《美国经济评论》，108（8）：2277-230 4。Kwon，K.和Kwon，S.（20）。单调回归不连续设计中的推理。arXiv:2011.14216。Li，C.M.和M¨uller，英国（2020年）。解释力有限的许多控制的线性回归。《定量经济经济学》，即将出版。李克强（1982）。随机过程正则化方法的极小性。《统计年鉴》，10（3）：937-942。Low，M.G.（1995）。函数估计问题中的Bia s-方差权衡。《统计年鉴》，23（3）：824-835。Muralidharan，K.，Romero，M.，和W–uthrich，K.（2020年）。随机实验中的事实设计、模型选择和（不正确的）推断。国家经济研究局2656 2号工作文件。诺克，C.和罗斯，C.（2020年）。模糊回归设计中的偏差感知推理。arXiv:1906.04631。奥斯特·E.（2019）。

不可观测选择和系数稳定性：理论和证据。商业与经济统计杂志，37（2）：187–20 4。Rambachan，A.和Roth，J.（2019年）。对平行趋势的诚实态度。未出版的手册，哈佛大学。罗宾逊，P.M.（1988）。根N-一致半参数回归。《计量经济学》，56（4）：931-954。Rosset，S.和Zhu，J.（2007）。分段线性正则化解路径。《统计学年鉴》，35（3）：1012-1030。邵，J.和邓，X.（2012）。具有确定性设计矩阵的高维线性模型中的估计。《统计年鉴》，40（2）：812-831。Tibshirani，R.（1996年）。通过套索进行回归收缩和选择。皇家统计学会杂志。B系列（方法学），58（1）：267-288。van de Geer，S.A.（2000）。M-Es时代的经验过程。剑桥大学出版社，剑桥，英国。van de Geer，S.A.，B–uhlmann，P.，R it ov，Y.，和Dezeure，R.（2014）。关于高维模型的渐近最优置信域和检验。《统计年鉴》，42（3）：1166-1202。维什宁，R.（20-18）。高维概率：数据科学应用导论。剑桥大学出版社，英国剑桥，第一版。冯·巴尔（1965年）。关于中心极限定理中矩的收敛性。《数理统计年鉴》，36（3）：808-818。冯·巴尔，B.和埃森，C-G.（1965年）。随机变量之和的rth绝对矩不等式，1≤ R≤ 2.《数理统计年鉴》，36（1）：299-303。Wahba，G.（1990年）。观测数据的样条模型。宾夕法尼亚州费城暹罗。吉田，K.（1995）。功能分析。施普林格·维拉格，柏林，第6版再版。张春海和张小胜（2014）。高维线性模型中低维参数的置信区间。

英国皇家统计学会期刊：B辑（统计方法学），76（1）：217–2 42。张磊（2013）。高维稀疏线性回归的近似最优极大极小估计。《统计年鉴》，41（4）：2149-2175。