全部版块 我的主页
论坛 经济学人 二区 外文文献专区
1354 19
2022-04-20
摘要翻译:
我们提供了直接的理论结果,证明将机器学习纳入标准线性工具变量设置是合理的。其核心思想是利用机器学习与样本分解相结合的方法,预测来自仪器的治疗变量和任何外生协变量,然后利用预测的治疗变量和协变量作为技术手段,在第二阶段恢复系数。这使得研究人员能够提取治疗和仪器之间的非线性协变,这可能通过提高仪器强度来显著提高估计精度和鲁棒性。重要的是,我们约束机器学习的预测在外生协变量中是线性的,从而避免了由于处理和协变量之间的非线性关系而产生的虚假识别。我们证明了这种方法在弱条件下给出了一致的渐近正态估计,并证明了它是半参数有效的(Chamberlain,1992)。我们的方法保留了线性工具变量方法的标准直觉和解释,包括在弱识别下,并提供了应用经济学工具箱的简单、用户友好的升级。我们用法律和刑事司法中的一个例子来说明我们的方法,检查上诉法院推翻对地区法院判决的因果影响。
---
英文标题:
《Mostly Harmless Machine Learning: Learning Optimal Instruments in Linear
  IV Models》
---
作者:
Jiafeng Chen and Daniel L. Chen and Greg Lewis
---
最新提交年份:
2021
---
分类信息:

一级分类:Economics        经济学
二级分类:Econometrics        计量经济学
分类描述:Econometric Theory, Micro-Econometrics, Macro-Econometrics, Empirical Content of Economic Relations discovered via New Methods, Methodological Aspects of the Application of Statistical Inference to Economic Data.
计量经济学理论,微观计量经济学,宏观计量经济学,通过新方法发现的经济关系的实证内容,统计推论应用于经济数据的方法论方面。
--
一级分类:Computer Science        计算机科学
二级分类:Machine Learning        机器学习
分类描述:Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文(有监督的,无监督的,强化学习,强盗问题,等等),包括健壮性,解释性,公平性和方法论。对于机器学习方法的应用,CS.LG也是一个合适的主要类别。
--
一级分类:Statistics        统计学
二级分类:Methodology        方法论
分类描述:Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计,调查,模型选择,多重检验,多元方法,信号和图像处理,时间序列,平滑,空间统计,生存分析,非参数和半参数方法
--

---
英文摘要:
  We offer straightforward theoretical results that justify incorporating machine learning in the standard linear instrumental variable setting. The key idea is to use machine learning, combined with sample-splitting, to predict the treatment variable from the instrument and any exogenous covariates, and then use this predicted treatment and the covariates as technical instruments to recover the coefficients in the second-stage. This allows the researcher to extract non-linear co-variation between the treatment and instrument that may dramatically improve estimation precision and robustness by boosting instrument strength. Importantly, we constrain the machine-learned predictions to be linear in the exogenous covariates, thus avoiding spurious identification arising from non-linear relationships between the treatment and the covariates. We show that this approach delivers consistent and asymptotically normal estimates under weak conditions and that it may be adapted to be semiparametrically efficient (Chamberlain, 1992). Our method preserves standard intuitions and interpretations of linear instrumental variable methods, including under weak identification, and provides a simple, user-friendly upgrade to the applied economics toolbox. We illustrate our method with an example in law and criminal justice, examining the causal effect of appellate court reversals on district court sentencing decisions.
---
PDF下载:
-->
English_Paper.pdf
大小:(896.23 KB)

 马上下载

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-4-20 21:33:16
最无害的机器学习:在线性IV模型中学习最优工具*Jiafeng Cheng Harvard Business School Boston,Majchen@hbs.EduDaniel L.ChenToulouse School of Economics Stoulouse,FrancedLchen@nber.orggreg LewisMicrosoft Research Cambridge,Maglewis@microsoft.com6月22日,2021年抽象我们有更直接的理论结果证明将机器学习纳入标准线性工具变量设置是合理的。其核心思想是利用机器学习与样本分解相结合的方法,预测来自仪器的治疗变量和任何外生协变量,然后利用预测的治疗变量和协变量作为技术手段,在第二阶段恢复治疗效果。这使得研究人员能够提取实验结果与仪器之间的非线性协变,从而通过提高仪器强度来显著提高估计精度和鲁棒性。重要的是,我们限制机器学习的预测在外生协变量中是线性的,从而避免了由于治疗和协变量之间的非线性关系而产生的虚假信息。我们证明了这种方法在弱条件下给出了一致的渐近正态估计,并且它可以适应于半参数E-cient(Chamberlain,1992)。我们的方法保留了线性工具变量方法的标准直觉和解释,包括在弱IDENTI条件下,并为应用经济学工具箱提供了一个简单、用户友好的升级。我们用法律和刑事司法中的一个例子来说明我们的方法,检查上诉法院推翻地区法院判决的因果关系。*这项工作以前出现在NeurIPS 2020的机器学习和经济政策研讨会上。作者感谢以赛亚·安德鲁斯、迈克·德罗斯特、布莱恩·格雷厄姆、杰·金戈特马克、森希尔·穆莱纳坦、阿什·兰巴坎、大卫·里茨沃勒、布拉德·罗斯、乔纳森·罗斯、苏普雷姆·萨卡尔、尼尔·谢泼德、拉胡尔·辛格、吉姆·斯托克、李阳·孙、瓦西里斯·西格卡尼斯、克里斯·沃克、威尔伯·汤森和埃利·塔默提供有益的评论。1介绍工具变量(IV)设计是经验经济学中的一种流行方法。Currie等人认为超过30%的NBERworking论文和顶级期刊出版物。(2020)包括一些工具变量的讨论。实践中使用的绝大多数IV设计是线性IV估计viatwo阶段最小二乘(TSLS),这是计量经济学和因果推论的标准介绍中熟悉的技术(例如Angrist和Pischke,2008)。然而,标准的TSLS在表上留下了一些由工具提供的可能提高估计精度的变异,因为它只利用了与内生回归数线性相关的变异。如果仪器与内生变量的线性相关性很低,但通过非线性变换很好地预测了内生变量,我们应该期望TSLS在估计精度和推断鲁棒性方面都表现不佳。特别是,在某些情况下,TLS会提供虚假的精确但有偏见的估计(dueto弱工具,见Andrews et al.,2019)。当外生变化包括高维数据或替代数据,如文本、图像或其他复杂属性如天气时,这种非线性设置变得越来越合理。我们发现,现有的机器学习技术为利用这种复杂的变异、提高仪器强度和估计质量提供了一个通用的目的箱。如果没有更强识别假设的科斯汀条件,用更易操作的具体情况来取代有限阶段的线性回归是不可能的。TSLS的有效性只取决于仪器与响应变量中未观察到的扰动线性无关的限制。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-20 21:33:22
放宽线性要求内源性残差在外源工具条件下均数为零,这一点更强。然而,很少有研究人员有令人信服的理由相信较弱的非相关性假设,而拒绝稍强的均值独立性假设。事实上,当研究人员考虑包括仪器的高阶多项式时,他们隐含地接受了比TSLS允许的更强的假设。事实上,通过不利用非线性,TSLS可能会意外地使一个强大的工具变弱,并提供虚假的精确推断:Dieterle和Snell(2016)和其中的参考文献发现,几篇应用微观经济学论文的结论对第二阶段的特殊情况(线性与二次型)敏感。在第二阶段利用机器学习的更严重的IDENTIN担忧来自第二阶段的参数函数形式。当有外生协变量包括在参数结构规定中时,这些协变量的非线性变换原则上可以是验证工具,并提供精确估计感兴趣参数的变化。例如,在Y=d>τ+X>β+U的标准IV设置中,其中X是外生协变量,强加e[ux]=0将正式导致X、X等是有效的“排除”工具。然而,鉴于研究人员所述的信息来源来自被排除的工具,这种由协变量提供的“识别变异”更多地是参数化特征的人工制品,而不是来自与研究人员科学调查有关的数据的任何严重信息。对上述问题的一个原则性反应是使第二阶段结构特征类似于wisenonparametable,从而包括一个内在的维度参数来估计,使经验指定非参数工具变量(NPIV)设计。在这方面取得了重要的理论和计算进展(除其他外,Newey and Powell,2003;Ai and Chen,2003,2007;Horowitzand Lee,2007;Severini and Tripathi,2012;Ai and Chen,2012;Hartford et al.,2017;Dikkala et al.,2020;Chen and Pouzo,2012,2015;Chernozhukov et al.,2018,2016)。然而,令人遗憾的是,NPIV在经济学的应用研究中受到的关注相对较少,这可能是由于理论上的复杂性、解释和故障排除的不确定性以及计算的可扩展性。此外,在某些情况下,对结构函数的参数限制来自理论考虑或对数线性化等技术,在这些技术中,估计的参数具有直观的理论解释和政策相关性。在这种情况下,作者可能有令人信服的理由坚持参数规定。本着对实践者友好的精神,本文考虑了在第二阶段结构关系为线性的非工具变量模型中的估计和推理,同时尽可能地考虑工具变量中的非线性,而不产生无意的和虚假的对包含的协变量的识别变异。我们的结果为机器学习方法在工具变量设计中的应用提供了直观和公正的依据。我们证明了在弱相合条件下,在样本分裂下,一个使用内生回归子和包含回归子的估计值的简单估计是相合的、渐近正态的和半参数的。constructedinstrumental变量也很容易提供弱仪器诊断和健壮程序。此外,标准诊断,如样本外预测质量,直接关系到估计的质量。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-20 21:33:29
在第二阶段结构函数中包含外生协变量的情况下,采用机器学习技术需要谨慎,以避免从包含的协变量的函数形式中得到虚假的识别。为此,我们将该问题表述为一个序列矩约束,并开发了利用机器学习从仪器中提取非线性变化的估计器。相关文献。我们的估计量的构造的核心技术来自于Chamberlain(1987,1992)。我们证明中的思想在双机器学习(Chernozhukov et al.,2018;Belloni et al.,2012)和半参数文献(例如Liu et al.,2020)中也很熟悉;然而,我们的论点是从研究生可以获得的基本技术出发的,并且是自成一体的。我们提出的估计量类似于Angristet al中的分裂样本IV或折刀IV估计量。(1999),但我们并不局限于线性设置或线性平滑器。Xu(2021)(针对probit)、Hansen和Kozbur(2014)(针对Ridg)、Belloni等人考虑了在IV设置的figurrst阶段使用非线性或机器学习。(2012年);切尔诺朱科夫等人。(2015年)(代表拉索)、Bai and Ng(2010)(代表Boosting)等;我们的工作可以被视为为实践者提供了一个简单的、统一的分析,这在很大程度上符合切尔诺朱科夫等人的精神。(2018年)。最后,我们将我们的工作视为与Angrist和Frandsen(2019)最近的工作相对应,该工作反对将机器学习与工具变量结合起来--这一点我们将在3.2节主要理论结果中详细探讨。我们考虑标准横截面设置,其中数据(Ri)Ni=1=(Yi,Di,Xi,Wi)Ni=1I.I.D.éP是从一些in群体中采样的。Yiis是一些结果变量,Diis是一组内源性治疗变量,Xiis是一组外源性控制,Wiis是一组工具性变量。研究者愿意证明Wiis是外源性或准实验性分配的。此外,研究人员认为,这提供了一个变异的来源,“identi”的e-ectτ。我们把内生性变量和协变量称为ti[1,d>i,x>i]>,把排除的工具和协变量称为技术工具zi[1,w>i,x>i]>。经验经济学中一个典型的说明是线性工具变量说明:yi=α+d>iτ+x>iβ+uie[WiUi]=0。(1)我们认为,研究者往往愿意假设更多的Uiis与(Xi,Wi)无关。工具变量的常见介绍(Angrist and Pischke,2008;Angrist and Krueger,2001)强调仪器引起的Diand变异与Ui无关,仪器的一个常见来源是自然实验。我们认为,这些叙述暗示了一种比TSLS要求的更强的外源性形式。毕竟,一个对称的均值-零随机变量S与S不相关,但人们很难说Sis与S无关。此外,严格地说,条件E[WiUi]=0并不自动地使Wivalid工具的多项式展开,但在实证研究中使用高阶多项式是常见的,这表明条件限制E[uiWi]=0更准确地捕捉了许多经验项目中强加的假设。考虑到这一点,我们将在整篇论文中假定独立性:e[Ui Wi]=0。这种更强的外源性假设允许研究人员从仪器中提取更多的识别性变异,但这样做需要更多的团队精神来处理这些变异阶段。2.1没有协变量让我们考虑一下我们没有外源协变量XI的情况。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-20 21:33:35
我们的均值无关约束产生了一个条件矩约束,E[yi-t>iθWi]=0,其中θ=(α,τ>,β>)>。条件矩约束编码了一组无条件矩约束:对于所有平方可积的条件,条件矩约束中的所有相关统计信息都包含在一个包含最优工具的无条件矩约束中,并且带有最优工具的无条件矩约束提供半参数的估计和推断。在我们的例子中,μ(Wi)=σ(Wi)[1,μ(Wi)>]>,其中μ(Wi)e[Di Wi]和σ(Wi)=e[Ui Wi]。我们用μ(Wi)=e[Ui Wi]估计了μ(Wi),并形成了θ:θn=nnxi=1μ(Wi)t>i!-1 nnxi=1μ(Wi)yi!的插件估计量。(2)这在数值上等价于以μ(Wi)为工具的两级加权最小二乘法和以1/σ(Wi)加权的估计(1)。特别是,如果Uiis是同态的,则最优工具简单地为[1,μ(Wi)>]>,且估计为μ(Wi)的两级最小二乘返回估计θn。在异态性下,该工具不再是最优的(在半参数的意义上),但仍然有效。因此,我们将加权1/σ(Wi)的仪器称为e加权下的最优仪器,而不加权1/σ(Wi)的仪器称为最优仪器。此外,在我们提出的估计量为e加权的条件下,我们可以检验均值独立性,因为TSLS和我们提出的估计量是产生豪斯曼检验的两个估计量。这种方法不应与许多应用研究人员在考虑两级最小二乘时的想法混淆,即用OLS直接回归估计的仪器(Wi)-即θn=npni=1μ(Wi)μ(Wi)>-1npni=1μ(Wi)yi。这就是Angrist和Pischke(2008)所称的“禁止回归”,它通常不会返回θ的一致估计。在同一性加权下,估计μ?相当于学习μ(Wi)e[Di Wi],这是非常适合tomachine学习技术的;这只是由于对σ(Wi)e[uiwi]underecient加权的估计而稍微复杂一点。人们可能会担心,μ的初步估计会使θn的渐近分析复杂化。然而,在一个简单的采样分裂方案下,我们给出了θn的一致性、正规性和e-ciency的一个高级条件。尽管它简化了证明,并可能削弱正则性条件,但样本分裂确实减少了估计最佳仪器所用的数据量,但这些问题可以通过k倍样本分裂有选择性地缓解:例如,20倍样本分裂将数据损失限制在5%,代价是20次计算可以有选择性地并行化。尽管如此,我们还是把我们的讨论集中在两倍样本分裂上。具体地,为了简单起见,假定N=2N,并设S,S,b[N]是大小为N的两个子样本。利用另一个样本s-j的数据估计μ(Wi),对j∈{1,2}进行欠恒等式加权。μ的估计量可以是通过经验风险最小化训练的神经网络或随机森林,也可以是弹性网络等无泛化线性回归,然后通过对所有i∈SJ求取γ(j)(Wi)而形成估计量。然后,我们可以用(2)通过插入到θ中来形成θ的(恒等式加权)估计量。在e-cient加权下,在每个s-j上,我们将使用θ的恒等式加权估计量作为初始估计量来获得Ui的估计量,并类似地用Wito来预测Ui,形成σ(Wi)的估计量。在e-cient加权下,将估计的最优工具插入到(2)中,形成一个cient加权估计量。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-20 21:33:41
我们将这种估计称为机器学习分裂样本(MLSS)估计。本文主要步骤的伪代码收集在算法1中。定理1表明,当firerst-stageEstimator.(j)收敛到一个强工具时,MLSS估计是相合的和渐近正态的,当firerst-stageEstimator.(j)收敛到一个强工具时,MLSS估计是一致的和渐近正态的。此外,对于L(W)范数中的最优仪器μ?(Wi)[1,μ(Wi)>]/σ(Wi),当(j)不一致时,它是半参数的。lconsistencyconditional并不强--特别是,它比double machine learning和半参数文献(Chernozhukov et al.,2018)中通常要求的在o(n-1/4)率的lconsistencyconditiony弱,在这些文献中,这些条件被认为是温和的。形式上,正则性条件在假设1中陈述。条件简单地说明,当样本容量趋于满足时,数据估计达到一定的极限,这在Lei等人的稳定性分析中是一个类似的要求。(2018年)。第二个条件说明极限是一个强工具,第三个条件假定有界矩以保证中心极限定理。最后一个条件只对半参数E-ciency有要求,它证明了最优工具在lnorm中的干扰估计是相合的。为了标准误差估计的一致性,我们在假设2和假设1中假设了更多的边界矩。回想一下,Zi=[1,w>i],所以qi(Wi)和qi(Zi)表示同一个对象1。(μ(j)在距离上达到极限μ)存在一个可测函数μ(Zi),当j=1时,μ(j)(Zi)-μ(Zi)k→0,2、采用K倍分样,s-ji是除第j个以外的所有样本分裂折叠的并集。在Bekker(1994)型渐近序列下的多仪器设置中,在缺乏稀疏性假设的情况下,可能没有最优仪器的一致估计量(Raskutti et al.,2011)。我们并不是声称MLSS过程比双重机器学习文献有任何优势,而是简单地认为这里的统计问题表现良好,因此我们享受比通常要求的更弱的条件。在这种设置中,讨厌参数E[Di Wi]享受Mackey et al.(2018)中描述的高阶正交性质。特别是,它是正交的,因此不需要任何速率条件。直觉上,在矩条件E[ut(yi-α-t>iθ)]=0的情况下,γ(·)的估计误差没有E→ect,而该问题的这一特征使得该估计对γ(·)的估计具有鲁棒性。其中,期望对γ(j)和Zi中的随机性都有积分,但假设γ(j)和Zi是独立的。(强等价性)矩阵GE[(Zi)T>I]存在且是满秩的。(Lyapunov条件)(i)对于一些>0的矩,Eui2+<∞,Ekui(Zi)k2+<∞,E[kTik]<∞,且(ii)方差-协方差矩阵存在Ωe[Ui(Zi)(Zi)>],且(iii)条件方差一致有界:对于一些M,E[uizi]<M<∞a.s.4。(对最优仪器的一致性)我们可以把最优仪器(Zi)作为条件1.假设2(方差估计)中的极限(Zi)。设q是假设1中所定义的对象。假定下列四阶矩有界:maxe[kTik],e[Ui],ekè(Zi)k,Limsupn→∞e[kè(j)(Zi)k]<∞。定理1。设θmlssnbe为上述MLSS估计量。在假设1中的条件1-3下,√nθmlssn-θn(0,V)V(GΩ-1G>)-1=G-1ΩG->,其中G、Ω在假设1中被剔除。此外,如果假设1中的条件4成立,则渐近方差V达到半参数e-ciency界。此外,如果我们另外假定假设2,那么对于两个矩阵,G,Ω的样本对应点是一致的。定理1的证明。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群