全部版块 我的主页
论坛 经济学人 二区 外文文献专区
1794 23
2022-04-16
摘要翻译:
我们使用机器学习来开发估算和推断方法,以丰富经济模型。我们的框架采用一个标准的经济模型,并将参数重铸为完全灵活的非参数函数,以捕捉基于潜在的高维或复杂可观察特征的丰富的异质性。这些“参数函数”保留了经典参数的可解释性、经济意义和规律。深度学习特别适合于经济学中异质性的结构化建模。我们展示了如何设计网络架构来匹配经济模型的结构,提供了将深度学习超越预测的新方法。我们证明了估计参数函数的收敛速度。这些函数是有限维参数的关键输入。我们基于一种新的影响函数计算得到推论,该计算包括任何第二阶段参数和任何使用平滑的每观测损失函数的机器学习丰富的模型。不需要额外的推导。如果需要,可以使用自动微分将分数直接取到数据中。研究者只需定义原始模型并定义感兴趣的参数即可。一个关键的洞察是,我们不必为了在数据上评估影响函数而写下它。我们的框架为许多背景提供了新的结果,涵盖了诸如价格弹性、支付意愿和二元或多项式选择模型中的剩余度量、连续治疗变量的影响、分数结果模型、计数数据、异构生产函数等不同的例子。我们将我们的方法应用于一个大规模的短期贷款广告实验。我们展示了如何做出有经济意义的估计和推论,如果没有我们的结果,这些估计和推论将是不可用的。
---
英文标题:
《Deep Learning for Individual Heterogeneity: An Automatic Inference
  Framework》
---
作者:
Max H. Farrell and Tengyuan Liang and Sanjog Misra
---
最新提交年份:
2021
---
分类信息:

一级分类:Economics        经济学
二级分类:Econometrics        计量经济学
分类描述:Econometric Theory, Micro-Econometrics, Macro-Econometrics, Empirical Content of Economic Relations discovered via New Methods, Methodological Aspects of the Application of Statistical Inference to Economic Data.
计量经济学理论,微观计量经济学,宏观计量经济学,通过新方法发现的经济关系的实证内容,统计推论应用于经济数据的方法论方面。
--
一级分类:Computer Science        计算机科学
二级分类:Machine Learning        机器学习
分类描述:Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文(有监督的,无监督的,强化学习,强盗问题,等等),包括健壮性,解释性,公平性和方法论。对于机器学习方法的应用,CS.LG也是一个合适的主要类别。
--
一级分类:Mathematics        数学
二级分类:Statistics Theory        统计理论
分类描述:Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计:例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类:Statistics        统计学
二级分类:Machine Learning        机器学习
分类描述:Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文(监督,无监督,半监督学习,图形模型,强化学习,强盗,高维推理等)与统计或理论基础
--
一级分类:Statistics        统计学
二级分类:Statistics Theory        统计理论
分类描述:stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近,贝叶斯推论,决策理论,估计,基础,推论,检验。
--

---
英文摘要:
  We develop methodology for estimation and inference using machine learning to enrich economic models. Our framework takes a standard economic model and recasts the parameters as fully flexible nonparametric functions, to capture the rich heterogeneity based on potentially high dimensional or complex observable characteristics. These \"parameter functions\" retain the interpretability, economic meaning, and discipline of classical parameters. Deep learning is particularly well-suited to structured modeling of heterogeneity in economics. We show how to design the network architecture to match the structure of the economic model, delivering novel methodology that moves deep learning beyond prediction. We prove convergence rates for the estimated parameter functions. These functions are the key inputs into the finite-dimensional parameter of inferential interest. We obtain inference based on a novel influence function calculation that covers any second-stage parameter and any machine-learning-enriched model that uses a smooth per-observation loss function. No additional derivations are required. The score can be taken directly to data, using automatic differentiation if needed. The researcher need only define the original model and define the parameter of interest. A key insight is that we need not write down the influence function in order to evaluate it on the data. Our framework gives new results for a host of contexts, covering such diverse examples as price elasticities, willingness-to-pay, and surplus measures in binary or multinomial choice models, effects of continuous treatment variables, fractional outcome models, count data, heterogeneous production functions, and more. We apply our methodology to a large scale advertising experiment for short-term loans. We show how economically meaningful estimates and inferences can be made that would be unavailable without our results.
---
PDF下载:
-->
English_Paper.pdf
大小:(1.2 MB)

 马上下载

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-4-16 10:03:54
个体异质性的深度学习:一个自动推理框架*Max H.Farrell梁腾远Sanjog MisraUniversity of Chicago,Booth School of Business,2021年7月27日,Abstracteconomic Models。我们的框架采用了一个标准的经济模型,并将参数重铸为完全可操作的非参数函数,以捕捉基于潜在的高维或复杂可观察特征的丰富异质性。这些“参数函数”保留了经典参数的可解释性、经济意义和规律性。与经济学中机器学习的常见实现相反,这些函数不需要预测。经济模型的全球结构,提供了新的方法,使深度学习超越预测。其次,我们证明了估计的参数函数的收敛速度,包括任何第二阶段参数的函数计算和任何使用平滑每次观测损失函数的机器学习丰富模型。不需要额外的推导,分数可以直接取到数据上,如果需要,可以使用自动插值来获得对数据的评价。我们在深度学习之后应用这个方法,但是我们的结果可以用于任何一个有限步长的估计器。作为特殊情况,我们的框架涵盖了众所周知的例子,如平均----不同的例子,如二元或多项式选择模型中的价格弹性、支付意愿和剩余度量,以及特殊情况下连续治疗变量的平均边际和部分e----。我们用一个大规模短期贷款广告实验来说明我们的框架的效用。我们展示了如何做出没有我们的框架就无法获得的有经济意义的估计和推论。关键词:深度学习,在泛函、奈曼正交性、异质性、结构建模、半参数推论中*作者要感谢Chris Hansen和Whitney K.Newey,他们是Chamberlain研讨会和2020 QME会议的与会者和讨论者,作为哥伦比亚大学、NYU、加州大学伯克利分校和加州大学圣塔巴巴拉分校的研讨会与会者,进行了有益的讨论、评论和建议。我们开发了一种深度学习的方法,并为其提供了新的结果。然后,我们通过推导适用于任何此类丰富模型的方差函数来提供第二步推理。起点是一个研究人员指定的模型,该模型将产出与接收到的T,T,θθyt广告的协变量联系起来,其中之一是利率。解决这个问题的一个标准方法是一个(结构化的)logistic二元选择模型,其中参数θ是coe-cients onT,包括拦截。这种模式有许多优点。首先,参数有明确和直接的解释,一般尊重经济理论。第二,有经济意义的例子,虽然利率只在特定的数值上观察到,但我们可以用这个模型来研究在其他水平上会发生什么。事实上,从基本的经济学原理,如利润最大化,我们可以计算出最优利率作为参数的函数,例如*(θ)。所有这些都是可能的,因为强加在分析上的经济结构。估计在实践中可能不可靠,这促使人们推动超越僵化的参数形式或依赖于许多东西。这一事实,加上越来越多的大型、复杂的研究人员可以在以前不可能的细节层次上研究经济现象。模型,及其所有优点。为了做到这一点,我们将模型的参数重新设置为ObservedParacteristicsx的函数,从而将模型丰富为`(Y,T,θ(X))。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-16 10:04:01
这些“参数函数”允许不可缺少的异构性,但保持了经济模型连接的完整结构。通常,我们既不知道θ(x)的函数形式,也不知道哪些协变量是重要的,这是应用现代机器学习方法的一个强大动机。我们的方法利用了机器学习在经济模型所规定的结构中的可选择性。x=x,θ(x)给出了“类型”x的个体的e-ect,因此保留了回答实质性问题的所有意义,θx结构。例如,在我们的数据中,我们可以计算出个性化的、有针对性的最优利率R*(θ(x)),我们通过丰富经济模型来实现ML的方法因此直接解决了许多预测问题,或者那些可以转化为预测问题的问题。这些预测的t,xθt,x,有用的量将是非常荒谬的,或者是不可能提取出来的。此外,如果没有模型的经济学原理,这样的估计可能没有什么意义。为了实现我们的方法,我们需要对参数函数θ(x)的估计和一个使我们能够提供广泛而有力的结果的推论。对于阶段估计,我们证明了深度异质性。在这种情况下,我们证明了新的收敛速度。对于第二步推论,我们给出了一个新的正交评分,该评分可以广泛而容易地应用。深度神经网络在经验上取得了令人难以置信的成功,匹配或设置了体系结构思想的状态,从而使经济模型的全局结构被简单地烘烤到估计中,实现也很简单,但这似乎被忽视了,而是依赖于经典方法,这些方法无法处理θxxinterestt的复杂异质性。我们的结果建立在Farrell等人最近工作的基础上。(2021),并对非参数M-估计的文献做出了更广泛的贡献(参见Chen(2007)的综述和参考文献)。θxμθxμsemiparametrics,Chie Comey Newey(1994),对于推断,我们遵循Chernozhukov et al.(2018)的方法,将正交评分与样本分裂结合起来。这种半参数推理的一般方法的一个缺点是必须事先知道内函数,这可能阻碍了应用研究人员的接受。大多数应用集中在一些特殊的情况下,推理是导出一个包含任意光滑`y的修正项的单In函数,T,θx可以在一般情况下使用,对于任何满足标准条件的步骤估计器,比如套索,例如平均处理和部分线性模型,但立即为许多其他上下文提供新的结果,包括选型、选择模型、分数结果,以及更广泛的平滑QMLE上下文和其他此类领域。一个关键的见解是,我们只需要在每个数据点上表征in函数并评估其经验模拟,从而获得一个点估计器和标准误差,明确地输出in函数或正交得分,然后插入对得分属性的估计,如e?ciency比较,这种心态的转变允许`情况下,模型的导数已经众所周知,可以使用这些形式,但如果不是,可以在数据上自动评估导数。例如,回想一下,在我们的经验中,诸如最优个性化利率下的预期利率等参数,不能显式地写下来:μ=e[π(r*(θ(X)))]。然而,由于μ是r*(θ)的平滑函数,Andr*(θ)平滑地依赖于θ,它的导数可以在每个数据点上毫不费力地评估,允许模型的结构化。经济学和社会科学希望利用ML,但保持学科特定的知识和可解释性。我们的工作应该是广泛有用的,通过提供一个可处理和有效的估计和推断框架,涵盖许多有趣的背景。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-16 10:04:07
下一节概述我们的方法框架及其解释,并简要概述了主要结果。我们的结果与最近的许多文献有关,当它们出现时,我们将在上下文中讨论这些问题。第3节显示深度学习在我们的上下文中是一个多么优秀的工具,并给出了理论结果。第4节讨论了半参数推理,我们新颖的确定性函数和渐近正态性。通过讨论一些例子,给出了我们结果的适用性的广度,但在附录中给出了证明。2用机器学习丰富经济模型的方法框架在这一节中,我们描述了我们丰富经济模型的框架,以捕捉个体的异质性,并对我们的结果进行了非正式的总结。该方法的出发点是一个标准的,参数化的中心协变量,或处理,T∈RdT,它可以是连续的,离散的,或混合的。`Y,T,θθ∈RDθ空间θ,由问题的结构决定,研究者然后求解θ∈θe[`(Y,T,θ)],该方法的几个方面是:(i)θ是参数,不是预测,具有经济意义,(ii)e-ects是齐次的。我们将保留(i)而删除(ii)。我们的框架从相同的参数模型开始,但将参数θ重新设置为观察到的个体特征的函数x∈RDX,以考虑异质性。因此,用E[·]代替θ。函数g(x)的Lnorm为kgkL(x)=e[g(x)]1/2。xxdxbθ(x)bθdθ(x)yt`y,t,bθ(x)θx泛型结构模型(2.1)将有θ(x),映射Rdx7→rdθ,我们假定真参数函数θ(·)解θ(·)=arg minθ∈He`y,t,θ(x),(2.1)(形式如下)。因此,我们可以以一种完全方便的方式捕捉异质性,同时保留标准模型的所有结构和可解释性。对于xxθxasθ,但是对于由x确定的“类型”。考虑个别特定的ects也很有用,其中θi\'yi,ti,θimeangful作为原始的同质情况,但当然θ通常不能从θ(xi)中恢复作为θi的近似值,该近似值使用所有可用的信息,从而捕获对未来政策目标有用的异构部分。θxprediction任务和对科学和经济上感兴趣的目标的估计,这与机器学习的典型应用不同。这一实现创新和由此估计的参数函数的收敛速度是本文对深度学习和更广泛地机器学习阶段参数的两个主要贡献。关键结果是我们以足够快的速度估计参数函数,以用于推理,重要的是,该速度仅依赖于连续异构协变量的数量,即ddc≤dX,而不依赖于策略/处理变量的维数。即对于由(2.1)得到的θ(x)的估计bθ,定理1建立了bθk-θ0k l(x)=O(n-pp+dclog(n)),k=1,。.,dθ,前提是`是su和ciently光滑和弯曲的接近真值。这一结果依赖于我们新的体系结构体系结构,因此损耗的优化目标是参数函数,而不是预测。这一思想如图1所示。θXμ∈rdμh{rdx×rdθ}7→rdμ,我们根据研究人员的选择,对μ=EhH(X,θ(X);t^)i,(2.2)进行推断,其中*是某一特定值。许多经济上有意义的统计量都采用这种形式,在任何这样的μ的函数中,它包括导出任何ML-浓缩估计问题的校正因子。规则性条件在以下;特别是,我们假设μ是可通过的。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-16 10:04:14
除此之外,μ的形式可以以不注明为代价加以推广。对第二阶段推断的主要理论贡献是In ference函数计算,产生Neyman正交分数,这是一个足以直接实现的规定,同时也是一个足够普遍的规定,足以涵盖任何基于平滑的每观测损失(自动的或数值的)的丰富的结构模型,以及对观测数据进行函数评价而不是把它们写下来的概念点。定理2在第4节中给出了任何(su-ciently)这样的θxhθx,θxt*`θy,t,θxhand`关于θ的Neyman正交分数,并表示λ(x)=e[`θθ(y,t,θ(x))x=x]`的Hessian的条件期望,所有这些都在θ=θ(x)处求出。则Neyman正交得分为φ(y,t,x,θ,λ)-yen,其中φ(y,t,x,θ,λ)=H(x,θ(x);t*)-Hθ(x,θ(x);t*)λ(x)-1`θ(w,θ(x))。对于许多标准模型,这些导数是已知的。如果没有,则可以用自动插值工具或其他计算方法得到。在其他\'y,t,θhfunctions,即使没有封闭形式,如我们的最优利率和相应的程序的例子。请记住参数情况。如果θ是常数,那么两步估计的经典结果,如Newey和McFadden(1994,Section 6)中的结果,将在第二阶段得到第一阶段的E_ect,并给出一个看起来相同的函数,但以Hθ和λ为常数,而不是半参数推论。有了这个正交分数,我们可以得到一个点估计值bμ和标准误差sbsuchthatbdN(μ,b/N),从而允许对向量μ的任何方面进行推论。例如,IFDμ=1,所以感兴趣的参数是一个标量,即Bμ-1.96 QB/n、Bμ+1.96 QB/n BθBx需要进行样本拆分。然而,一个重要的方法点是,随机化的这个矩阵通常可以计算,而不是估计。一般情况下,两步半参数稳定和鲁棒估计的结果比较。我们的框架的一个特例是:当yis是一个标量,(2.1)是围绕条件简项建立的,并且假定对于已知函数G(u),u∈R,e[yx=X,T=T]=Gθ(X)T.这一特例对于说明主要思想以及prevalentin的经验和理论工作是有用的。(2.3)X(2.3)(2.1)gtake是非线性最小二乘或似然,它具有二阶条件,这将改变后面给出的函数,从而影响实现。O\'Hagan(2.3)Coe-cient“模型(Chen and Tsay,1993),或”光滑Coe-cient“模型(Li et al.,2002),并归入Stone et al中的”扩展线性模型“类别。(1997)。我们的结果直接说明了这一点,即可以将随机COE模型视为一种替代的参数模型。因此,我们推测我们的框架也可以适应这些设置。我们把这个问题留给以后的研究。文献和加性模型,其中[Y x=x]=g(θ(x)+θ(x)),对于不重叠的子集x,xof x,我们将得到θ(x)和θ(x)的速率。方程(2.3)的形式表明,我们的方法是丰富产出和政策变量之间的参数关系,而不是限制完全非参数的(预测)gθxteytgθteyxx,ttθx,twould是更典型的ml,这种区别在实践和理论上都很重要。同样,将二进制choiceavailable视为COE+Cient函数。将此与非结构化预测相比较:恢复Xx,ttθ(x,t),然后得到关于率变量(t的一个元素)的导数,即e[θ(x,t)/rx=x]。这是可能的,但很麻烦,对平均数的推断可能无法衡量弹性或最佳价格。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-16 10:04:20
3参数函数的结构化深度学习我们现在详细讨论了参数函数θ(x)的深度神经网络(DNN)估计,并陈述了我们在这一阶段的理论结果。DNN具有独特的组合能力,这使得它们成为机器学习方法中恢复个体异质性的一个极好的选择。深度学习最明显的论据是DNN取得了令人难以置信的成功,它已经被发现非常好地处理了许多di withed erent任务和数据类型。在许多应用中,XIS的维数足够大,异构性足够复杂,经典方法难以处理,Farrell等人。(2021)最近的文献和进一步的介绍。参数函数θ(x)。为此,我们设计了一个新的体系结构,如图1所示,用于测量θxθx全连接前馈网络(多层感知器,MLP)和整流线性单元(ReLU)激活函数。θxx最终进行预测,如公式(2.3)所示,方差或协方差,或其他参数fdnnkθkk∞bθ经验模拟(2.1),bθ=arg minθ∈FDnnnnxi=1`(yi,ti,θ(xi))。(3.1)DNNs不是唯一可能使用的方法,我们也没有声称任何形式上的最优性,我们能够容易和透明地使我们的估计器反映模型的全局结构,使机器学习忠实于经济学,而不是允许相反的情况。尽管有可能嵌入“本地”方法,如基于内核(Fan and Zhang,2008)或基于树(Zeileis et al.,2008;Athey et al.,2019;Chatla and Shmueli,2020)的估计器,但使用DNNs进行估计是简单、透明和易于处理的,而且由于经济模型在全球适用,我们可能希望在估计中与此匹配。第二,像基于树的方法一样,DNN自动处理离散协变量,全局平滑器和局部平滑器之间的区别不是普遍的或精确的。在这里,我们用“全球”来表示(Cattaneo and Farrell,2013年;Cattaneo et al.,2020b)。包括完全友好的交互。在实践中或理论上,我们不需要限制对Xdiscrete变量的关注(在标准假设下),但在实践中实现这些收益可以是建立在基展开或核近似基础上的di-the cult。DNN不需要自定义:输入结构,我们证明只有连续元素的维数X,异质性a决定了我们的DNN估计的收敛速度,而离散协变量不影响收敛速度。处理离散协变量是经典筛选方法或搜索函数形式和相互作用的方法的一个主要优势。然而,这些方法在我们的意义上是结构相容的,我们的结果直接贡献了非参数理论的大量工作。除了早期的工作之外,我们明确主张丰富一个标准的结构体系(yi,ti,xi,μ,θ(·)),它允许我们提供具体的、完全可实现的结果。最后,值得一提的是,最近的其他工作考虑了deepfocus的结合,使用深度学习来估计个体水平的异质性,这在以前的工作中是非常不可靠的,而且是不可用的。巴比等人。(2020)将经济学与以预测为中心的机器相结合这是将经济学与机器学习相结合的另一个有趣的途径。3.1结构化深度神经网络θx的收敛性将给出一个一般的结果,这必然要求较高的条件,进而说明筛M估计的更多传统。我们的假设和结果使人联想到。`Y,t,θX(Y,X,t)和θ(X)。对于损失函数,我们一般要求Lipschitz连续性,并且接近于事实,要求su.cient曲率。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群