然而，使用仪器变量方法的研究人员通常面临两个重大挑战。首先，有效的仪器不容易找到。通常，如果不了解基础数据生成过程，即p层内生性的本质，就无法识别仪器。其次，为了证明所提议的工具的有效性，研究人员需要提供令人信服的证据，证明该工具满足两个标准，即相关性和排除性。虽然前一个标准可以通过经验性检查内源性卵巢酸盐和仪器之间的关联强度来评估，但后者往往是不稳定的，因此取决于提供令人信服的定性、概念性论证的研究，即仪器与最终感兴趣的结果没有关联，除了其对内生变量的影响。我们的算法提供了一个新的机会，通过粗略的定量方法来满足这两个需求，因为它利用了一组完美测量的数据的可用性，即预测模型的标记数据，减少了对定性参数（或限制性假设）的需要。A.2集成学习和随机森林在机器学习文献中，集成学习代表了预测模型的一个重要范例。集成学习的目的不是建立一个模型来解决预测问题，而是建立多个个体模型，即模型的集成，并将它们各自的预测结合起来，得出一个更精确的模型。例如，请参见https://thepoliticalmethodologist.com/2015/07/13/why-cant-we-just-make-up-instrumental-变量/用于讨论纯粹随机生成的仪器通常无效的原因。准确和稳定的骨料预测（Aggarwal，2015）。

一些典型的集成学习方法包括bagging（Breiman，1996）、bo osting（Freund等人，1996）和random forest（Breiman，2001；Denisko和Ho Off-man，2018），后者与我们的论文特别相关。随机森林是决策树的集合。每个树都是建立在训练数据的随机样本上的，并且树中的每个分割（节点）都会考虑一个随机的特征子集（Breiman，2001）。森林对观测结果的预测来自于对单个树木的预测的聚合，例如，对分类任务的多数投票或对数值预测任务的平均。由于随机森林通常具有很高的预测精度，已被证明在各种研究领域非常有用（Verikas等人，2011年；Denisko和Ho Off-man，2018年）。随机森林的预测性能与每棵树的准确性正相关，与预测误差中的树间相关性负相关（Breiman，2001；Bernard等人，2010）。直观地说，随机森林的性能随着组成森林的树木的个体预测精度的联合函数而增加，构成森林的树木在预测误差上“不同”。根据观察，这些目标与支撑有效工具变量的相关和排除限制非常相似，因此这些树可以作为解决预测（测量）误差引起的偏侧回归中内生性的候选工具，这一想法具有一定的表面有效性。A.3生成回归系数我们在这里研究的测量误差问题与大量关于“生成回归系数”的计量经济学文献密切相关，在这些文献中，计量经济学估计中的某些协变量不是直接观测的；相反，它们是首次估计的。

事实上，带有工具变量的两阶段最小二乘（2SLS）估计就是这样一种生成的回归模型，其中第二阶段回归中使用的内生协变量的预测值是从第一阶段回归中生成的。研究人员在生成函数或最终估计为参数（如Newey，1984；Murphy and Topel，1985）、半参数（如Blundell and Powell，2004；Mammen et al.，2016）或非参数（如Sperlich，2009；Mammen et al.，2012）的情况下，研究了计量经济学模型的理论性质。对于这一广泛文献的深入评论，werefer the reader toPagan（1984年）和Oxley and McAleer（1993年）。在这项工作中，研究人员注意到，生成函数可能会产生有偏差的回归估计，这反过来会在第二阶段回归中产生偏差和不一致性，并讨论（通常是理论上的）解决问题的方法。我们的背景和我们正在寻求解决的问题与由此产生的倒退问题有着明显的相似性。然而，我们在这里讨论的测量误差问题仍然有一些独特的特点，使其有所不同。具体地说，在我们的设置中，测量误差源于机器学习模型的预测，该模型是使用一组标签数据建立的，在这些数据上（假设）可以完美地观察到感兴趣的协变量。换句话说，要产生的协变量只是部分未被观察到。这与文献中生成回归模型的典型设置不同。通过标记的数据集进行的部分观察可以客观量化测量误差，并可能进行更有效的偏差校正。

正如后面将讨论的，我们提出的方法利用这个标记的数据集来实现偏差校正。如上所述，生成回归器文献中的一些近期工作提出了在存在关于该偏差的分布信息的情况下纠正生成回归器偏差的方法（例如，Meng等人，2016）。因此，作为我们基准分析的一部分，我们试图比较我们的方法与该方法的相对性能（Meng等人，2016）。B理论设置在本附录中，我们提供了测量误差问题的正式设置以及解决该问题的仪器变量方法。我们首先提供计量经济学估计问题的标准设置。我们假设在某一特定人群中，感兴趣的关系由y=XβX+ZβZ+ε表示，（3）其中ε是随机误差项。我们观察到{（yi，xi，zi）i=1，…，n}，一个从感兴趣的人群中独立且相同分布的样本，例如yi=xiβX+ziβZ+εifor i=1，nY=XβX+ZβZ+εZ∈ Rn×kand Y，ε，X∈ Rn×1（4）此外，我们将让β=[βX，βZ]，A=[X，Z]，为了简单起见，除了以下标准线性回归假设外，还假设A表示的k+1预测变量具有零均值：（A1）E[ε| A]=0，（A2）秩（E[A′A]）=k+1。利用（A1）和（A2），我们得到了普通最小二乘（OLS）估计量βOLS=（A′A）-1A′Y是无偏的，与β一致。在我们的上下文中，可以使用标记的数据（即n≡ |德拉贝尔|）。此外，我们能够从感兴趣的人群中观察到另一个样本{（yi，bxi，zi）i=n+1，…，n+n}，其中bxi（即向量cx）是xi（即向量X）的不完全度量。

在我们的上下文中，X代表数据挖掘变量的真实值，cx代表机器学习模型生成的不完美预测。对于NSA样本，我们获得X的真值（即地面真值标签），但获得剩余NSA样本的实验室els（即n）是有可能的（例如，在成本或时间上）≡ |Dunlabel |）。通常，n>>n.鉴于其规模较大，人们显然希望利用NSAMPLE中包含的信息进行推理。我们对不完全测量做了以下附加假设，cX:（A3）cX=X+e，（A4）e[ε′e]=0，（A5）e[X′e]=0，和e[Z′e]=0试图简单地用cX代替X来估计（4）已知会导致对^βOLSbecausecX的有偏且不一致的估计是内生的：yi=bxiβX+ziβZ+[εi]- eiβX]对于i=n+1，n+n，Y=cXβX+ZβZ+[ε- eβX]Z∈ Rn×kand Y，ε，e，cX∈ Rn×1，（5）其中内生性来源于cX′e= V ar（e）。请注意，在上面和下面的回归方程中，[·]表示（未观察到的）误差项。工具变量回归是解决内生性问题的常用方法。首先假设我们实际观察到（yi，bxi，zi，wi）i=n+1，。。。，n+n，其中Wii是（假定的）工具变量的d维行向量≥ 1.在两阶段最小二乘（2SLS）回归中对NSA样本进行估计，其形式为：cX=W∧W+Z∧Z+u W∈ Rn×d，Y=fXβX+ZβZ+rz}{[ε+βX（eu- e） ，（6）其中fx=HWcX表示Cx在B的列空间上的投影，其中B=[W，Z]和∧B=[λW，λZ]，HW=B（B′B）-1B′；其中eu=cX-外汇。

表示C=hfX，Zi，然后2SLS估计量^β2SLS=（C′C）-1C′Y，等于t o^β2SLS=β+中国-1.科恩P-→β+plimn→∞中国-1普林→∞科恩=因此，β2是β（即β=β）和其他标准仪器变量假设的一致估计量：（A6）e[B′ε]=0，（A7）e[B′e]=0，（A8）秩（e[B′B]）=d+k，（A9）秩（e[B′a]）=k+1。以下定理正式确定了，给定一个内生变量，m是测量的协变量（在这种情况下，是随机林中一棵树的预测向量），以及一组其他错误测量的协变量（在这种情况下，是从包含相同随机林的其他树获得的预测向量），而误差向量之间没有相关性（实际- 预测）与内生协变量和一组其他错误测量的协变量相关，可以获得相关系数的一致估计。定理。让矩阵P=[P，…，pM]=X+[e，…，eM]，其中J∈ {1，…，M}pj∈ Rn×1是（5）中定义的规格下变量X的柱向量测量（误差如（A3）-（A5）所定义），并带有相应的假设（A1）-（A2）。另外，设E=P- X=[e，…，eM]是测量器的矩阵，Sj {1，…，M}\\j是基数d的子集，使得PSj，ESj∈ P和E的列向量的Rn×dare子集分别由Sj中的列索引定义。如果EhE′Sjeji=0，则使用PSjas仪器对Pjin 2SL进行测量，可提供（3）中定义的总体参数β的一致估计。证据从（5）中，我们不知道PJI是内生的，因为它的测量误差由未观测到的误差项捕获。而从（6）和（7）我们知道，给定一个工具变量矩阵W，β2SLSp-→ β当（A6）-（A9）满足时。

因此，当我们让W=PSj时，很有必要证明（A6）-（A9）是满意的。（A1）、（A3）- （A5）==> EZ′ε= 0，EhP′Sjεi=0==> EB′ε= 0（A6），EhE′Sjeji=0==> EhP′Sjeji=0==> 嗯XSj+ESj，Z′εi=0==> EB′ε= 0（A7），最后（A8）-（A9）直接从（A1）-（A5）开始，认识到Ehp′jplni=V ar[X]j，l∈ {1，…，M}。C工具变量选择程序伪代码算法M 1：工具变量选择过程数据：单株树的预测P={bX（1），…，bX（M）}在DTEst上，Dunlabeland gro und truthX在DTEst上：表示k.kas为L1范数，k.kas为L2范数，λ为套索惩罚水平；SetbX（i）为内生协变量；设定P-我← P\\bX（i）作为候选学科的人才库；设置CurrIV s← P-我如果为True，则执行//步骤1：移除无效仪器，包括e（i）=bX（i）- 数据测试中的X；估计套索回归最小值|Dtest|ke（一）-PbX（j）∈电流sδjbX（j）k+λk K;得到Vi← {bX（j）∈ CurrIV s |δj=0}是一组系数为零的仪器；//步骤2：选择强仪器进行数据测试∪ Dunlabel，估计套索回归MinΓ|数据测试∪ Dunlabel | kbX（i）-PbX（j）∈ViγjbX（j）k+λkΓk;得到Si← {bX（j）∈ Vi |γj6=0}作为一组具有非零系数的仪器；如果Si==CurrIV s，则中断；//剩余票据有效且为STRONG ENDSET CurrIV← Si；//重复selectionendOutput:Si，BX（i）的有效和强大仪器集。D ForestIV Appr-oachData的伪代码2：ForestIV Appr-oachData的伪代码：单株树对数据集的预测P={bX（1），…，bX（M）}和对数据集的Dunlabeland gro und truthX估计Bβlabelas对数据集的无偏系数；foreach i∈ {1, . . .

，M}doSetbX（i）作为利益计量经济模型中的内生协变量；选择Si P\\bX（i）使用算法1；//第3步：估计Si6= 然后使用Sias工具变量，用方差协方差矩阵B∑iIV估计BβiIVon Dunlabel；计算Hotelling的Tstatistic，Hi，betweenbβIIbβ标签；如果Hi<临界值，则保留βiIV；计算M SEi=tr（b）βiIV-bβ标签（bβiIV）-bβ标记）T+b∑iIV;EndendEndOut：最小M SEi的保留DBβIIV。使用bootstrapping获得方差估计。E具有共享数据的连续内生协变量的模拟结果。1两步选择工具变量的有效性在自行车共享数据中，我们使用Dtest计算两个指标，其中观察到地面真相lnCnt和随机森林的预测。在基于套索的两步选择程序之前，对于给定的单个树，我们将所有其他树的预测视为工具。我们计算（1）与2SLS回归相关的F统计量，作为仪器强度的说明性度量；（2）与仪器上tree i预测误差的anOLS回归相关的调整RASS，作为仪器排除的说明性度量。O观察小F-统计和大R指示有微弱和无效的仪器。选择之后，我们再次计算这两个指标，只使用选定的工具。在下面的图中，我们根据AdjustedDR绘制了基于套索的选择前后的F统计数据。套索前1.0.0.1 0.2 0.3 0.4 0.5500 1500 2500-基于选择调整的R-平方-统计0。套索后0.1 0.2 0.3 0.4 0.5500 1500 2500-基于选择调整的R-平方-统计图3：基于单个模拟运行的F-统计与调整RBA的曲线图。

左图对应于使用所有候选仪器（即，无选择）的2SLS估计，右图对应于仅使用所选仪器的2SLS估计。我们可以看到，在基于套索的选择之后，F-统计量变得更大（p<0.001），调整后的Rbecome更小（p<0.001）。这提供了描述性证据，表明我们基于套索的程序有助于进一步选择坚固有效的仪器。E.2主要结果在每轮模拟中，我们记录与每个系数相关的估计值和标准误差。在桌子上。2.我们报告了所有模拟过程的平均系数和标准误差（括号内），包括有偏回归和无偏回归（从标记数据中获得）。对于ForestIV，我们将100次模拟运行中的采样分布的平均系数和标准偏差报告为标准误差。我们还计算了与t检验相关的p值（方括号内），将每个估计系数与其基础真值进行比较（即，较大的p值意味着估计值在统计学上更接近真值）。我们可以看到，直接使用随机森林预测的结果，回归模型的结果平均为13。2%高估lnCnt，29.8%低估截距。如p值所示，ForestIV估算值与真实lnCnt值没有显著差异。

与无偏估计相比，Forestiv实现了更小的标准误差（即更高的估计精度）。真有偏无偏前stIVIntercept 1.0 0.702（0.063）1.018（0.204）0.957（0.134）[0.004][0.511][0.745]lnCnt 0.50.566（0.013）0.498（0.040）0.512（0.027）[0.002][0.530 0.652]Z2。0.2.000（0.003）1.999（0.011）2.000（0.003）[0.459][0.524][0.977]Z1。01.000（0.002）0.999（0.006）1.000（0.002）[0.480][0.486][0.989]平均MSE 0.150 0.017表1:ForestIV自行车共享数据结果。括号中的标准错误。p值将ImageMates与方括号中的真值进行比较。Ave MSE包含100次模拟运行中与每组估计值相关的平均经验MSE。E.3敏感性分析下面我们给出了自行车共享数据的敏感性分析结果。E.3.1未标记数据的大小我们使用8种不同大小的未标记数据重复主要模拟，分别为100、500、1000、5000、7500、10000、12500和16179（即所有剩余实例）。其他参数，如标记数据集的大小和计量经济模型规格，在这些模拟中保持不变。该敏感性分析检查了当2SLS估计暴露于大量未标记数据时，lnCnt的ForestIV估计如何收敛。结果绘制在FigureE中。3.1. ForestIV估计值的95%置信区间构建为估计值抽样分布的2.5%和97.5%之间的范围。我们观察到，无论未标记数据量增加多少，有偏估计都会保持有偏，这是由于测量误差会导致不一致的估计。另一方面，随着更多未标记数据的添加，ForestIV估计的置信区间变得更窄。

换言之，使用有效的标记数据，ForestIV估计会收敛，并比u-nbiased估计更精确。尽管存在一些局部波动，但单个模拟运行的点估计值支持相同的观察结果。这种敏感性分析为从ran DOMREST生成的仪器的质量提供了额外的支持，并随后由我们提出的程序选择。实际上，结合机器学习的好处是0。20.30.40.50.60.70.80 5000 10000 15000未标记数据的大小lnCntBiasedForestIVUnbiased0上的系数。20.30.40.50.60 5000 10000 15000大小的未标记数据LNCNTBiaseForestIV上的系数图4：不同大小的未标记数据的置信区间和点估计。左面板显示了不同大小的未标记数据对lnCnt估计的95%置信区间。右面板显示了基于单次模拟运行的不同大小的未标记数据在lnCnt上的点估计。lnCnt的真实系数为0.5。当未标记的数据比标记的数据大得多时，计量经济学建模可能最为显著，尤其是当获取大量标记数据的成本高得令人望而却步时。在这种情况下，ForestIV可以提供更大的实质性，因为它的估计随着未标记数据量的增加而收敛，这最终带来了相对于使用（相对较小的）标记数据集获得的无偏估计的精度提高。E.3.2计量经济数据中的噪声我们通过将σε从2增加到5（或等效地，将误差项方差增加6.25倍）来重复模拟。这代表了经济计量估计数据包含大量噪声的情况。

结果见表1。3.2.真有偏无偏前stIVIntercept 1.0 0.692（0.155）1.044（0.512）0.870（0.270）[0.157][0.511][0.630]lnCnt 0.50.568（0.033）0.495（0.089）0.531（0.055）[0.143 0.530 0.576]Z2。0.2000（0.007）1.998（0.027）2.000（0.008）[0.464][0.524][0.982]Z1。01.000（0.004）0.998（0.016）1.000（0.004）[0.488][0.486][0.998]平均均方误差0.408 0.143表2:ForestIV关于∑ε=5的自行车共享数据的结果。括号中的标准错误。p-值将估计值与方括号内的真实值进行比较。Ave MSE包含与100次模拟运行中的每组估计值相关的Ave MSE。我们观察到，与σε=2的情况相比，与有偏、无偏和ForestIV估计相关的平均标准误差都变得更大（约为2.5倍），这是数据中噪声增加的直接结果。然而，尽管数据中存在更大的噪声，与无偏估计相比，ForestIV在估计精度方面仍然取得了显著的进步，因为ForestIV估计产生的标准误差要小得多。E.3.3随机森林的预测性能迄今为止，我们将ran dom森林模型视为固定模型。然而，建立预测性机器学习模型的标准过程通常涉及调整各种参数，以在保留标记的数据上实现最佳预测性能。因此，在下一组敏感性分析中，我们研究了随机森林的预测性能（使用机器学习中常见的性能指标均方根误差RMSE测量）与ForestIV校正性能之间的关系。

鉴于一个随机森林的许多参数可以微调，我们选择关注树木总数（即M），因为该参数与仪器中的候选数量直接相关。我们用5个不同的M值重复模拟：25、50、100、150和200。在这些模拟中，其他参数仍如主模拟中所述。我们在表中报告了每种M选择的ForestIV估计结果。3.3. 我们还报告了在表的最后一行将βLabel与ForestIV估计值进行比较的平均Hotelling T统计量。在雕像里。3.3，我们在lnCnt上绘制了三种特定大小的随机森林的ForestIV估计分布，即M∈ {25, 100, 200}.1.640 0 0.656 0 0 0 0.6430 0.646 0 0.646 0 0 0.646 0 0.646 0 0.646 0.6411中国内地截获1.0 0 0 0.0 0 0 0.0 0 0 0.884（0.132）0.0 0 0 0.0 0 0 0.132）0.0 0 0 0 0 0 0 0.0 0 0 0 0 0 0.132）0 0 0 0 0 0（0 0.132）0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.132）0（0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.132）0（0 0 0 0 0 0 0 0 0 0 0 0 0 0 0（0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.[Z2。0.2.000（0.003）2.000（0.003）2.000（0.003）2.000（0.003）2.000（0.003）[0.892][0.920][0.977][0.911][0.777]Z1。1.000（0.002）1.000（0.002）1.000（0.002）1.000（0.002）1.000（0.002）1.000（0.002）[0.916][0.924][0.989][0.947][0.897]Ave MSE 0.016 0.020 0.017 0.017 Ave。Hotelling Tstats 3.0817 3.0501 2.7094 2.7816 2.9357表3:Fo restIV对不同选择的M。括号中的标准错误。p值将ImageMates与方括号中的真值进行比较。Ave MSE包含100次模拟运行中与每组估计值相关的平均经验MSE。将每M的平均点估计值作为校正性能的指标，我们发现，树太少（例如，M=25或M=50）10个D会导致更高的RMSE和较差的ForestIV结果。

同时，随着树木数量的增加，我们观察到RMSE的边际改善，但这并不总是导致更好的校正性能。具体而言，当M=150和M=200时，我们观察到RMSE分数与M=100时相比略有改善，但ForestIV的校正性能下降。这也得到了E的可视化支持。3.3中，我们观察到M=100 t时的校正性能优于M=25或M=200时的校正性能。重要的是，我们计算了平均Hotelling t统计值，将βLabel与ForestIV估计值进行比较，结果为0。45 0.50 0.55 0.60 0.650 5 10 15 lnCntDensityM=25M=100M=200的lnCnt系数图5：对于Mit不同选择的lnCnt估算，以符合ForestIV的校正性能。Tstatistic越小，校正性能越好。这组模拟表明，ForestIV无法替代调整与随机森林预测模型相关的超参数的功能。也就是说，拥有一个性能更好的ran dom forest通常会提高ForestIV的性能。同时，在这个特别的演示中，我们观察到使用过多的树可能会潜在地损害ForestIV的校正性能，这可能是因为在大量的直截了当的仪器中，仪器的选择可能是有挑战性的。在实践中，研究人员可以依靠HotellingTstatistic作为信号，选择使Tstatistic最小化的树的数量。E.4森林植被替代设计的模拟结果。4.1样本分割构建候选工具变量的另一种方法是样本分割，这是计量经济学中利用多个独立样本进行估计和推断的一般策略（例如，Angrist和Krueger，1995年；Chernozhukov等人，2016年；Athey和Imbens，2017年）。

考虑将训练数据分成两个独立的子集，并在每个子集上建立一个随机森林模型。每一片森林在整体上是一致的（随着训练数据的大小趋于一致），其预测误差被描述为一个随机且独立的噪声项（Scornet等人，2015）。因此，一个随机森林的预测原则上可以作为另一个预测的工具。这种样本分割方法的潜在吸引力在于，它（在一定程度上）保持了随机森林优于单个决策树的预测性能，因此可以提前减少测量误差问题的范围。通过对自行车共享数据的模拟实验，我们探索了这种替代方法的校正性能。基本设置与主要手稿第3.1节相同，只是我们将训练数据随机分成两个大小相同的样本（每个样本有500个实例），并训练一个随机森林模型，每个样本上有100棵树。我们把这两片森林称为森林1和森林2。然后，我们使用Forest#1对未标记数据的预测作为内生协变量，使用Forest#2对未标记数据的预测作为仪器变量。

因为在这种情况下只有一个仪器，所以不需要仪器选择程序。我们在表中报告了这种样本分割方法在100次模拟运行中的平均估计，以及有偏、无偏和ForestIV平均估计。4.1.真实偏置无偏前stIV样品分离截距1.0 0.702（0.063）1.018（0.204）0.957（0.134）0.553（0.115）[0.004][0.511][0.745][0.000]lnCnt 0.50.566（0.013）0.498（0.040）0.512（0.027）0.599（0.023）[0.002][0.530 0.652][0.000]Z2。0.2.000（0.003）1.999（0.011）2.000（0.003）2.000（0.003）[0.459][0.524][0.977][0.961]Z1。01.000（0.002）0.999（0.006）1.000（0.002）1.000（0.001）[0.480][0.486][0.989][0.977]平均均方误差0.150 0.017 0.283表4：样本分割：自行车共享数据的结果。括号中的标准错误。p值将ImageMates与方括号中的真值进行比较。Ave MSE包含100次模拟运行中与每组估计值相关的平均经验MSE。我们发现，样本分割法产生的估计值实际上比偏差估计值（直接取自机器学习模型，无需任何修正）更具偏差，这是仪器无效的有力迹象（Murray，2006）。事实上，在检查了两个随机森林对测试数据的预测后，我们发现，虽然森林#1的预测与森林#2的预测有很强的相关性（平均相关性为0.96，表明仪器相关性很强），Forest#1的预测误差与Forest#2的预测没有弱相关性（平均相关性为0.30，表明系统性违反了仪器排除要求）。因此，尽管样本分割在理论上可能是构建仪器的可行方法，但在这种情况下似乎并不有效。

我们进一步对一些额外大小的训练数据重复模拟，并在表E.4.1中总结结果。我们再次观察到，ForestIV始终优于samplesplitting。2.125 500 500 500 500 500 500 500 500 500 500 1000 1000 2000 | |雨| |雨| |雨124：|雨124：：|雨124：|雨124：|雨124：：；2.125250 250 500 500 500 500 500 500 500 500 500 500 500 500 500 500 500 500 500 500 500 500 500，截截取1.0.0.0.0 0.0前预测预测0.0.0.0.0 0 0 0 0 0 0 0 0 0前的前的0.951（0.951（0.377）0（0.7）0.7）0.0.0.0.0.0 0 0 0 0 0 0 0 0 0 0 0.0.0 0 0 0 0 0 0 0 0.0 0 0 0 0 0 0 0 0 0 0 0（0（0.377）0 0 0（0.023）0.581（0.018）Z2。0前stIV 1.999（0.003）2.000（0.003）2.000（0.003）2.000（0.002）样品分离2.000（0.003）1.999（0.002）2.000（0.003）2.000（0.003）Z1。0前stIV 1.000（0.002）1.000（0.002）1.000（0.002）1.000（0.001）样本分割1.000（0.002）1.000（0.002）1.000（0.002）1.000（0.002）1.000（0.002）平均MSE前stIV 0.040.010 0.017 0.021样本分割0.664 0.391 0.283 0.156表5：不同大小训练数据的样本分割。括号中的标准错误|Dtrain |表示训练数据的大小，|Dtrain |/2表示每个分割样本的大小。AveMSE包含与每组e估计值相关的平均经验al MSE，共100次模拟运行。此外，我们将模拟扩展到13种不同大小的训练数据：200、250、300、350、400、450、500750、1000、1250、1500、1750和2000。对于每种大小的训练数据，我们应用b oth ForestIV和样本分割，然后使用100次模拟运行中的真实系数值（而非无偏估计）计算与每个估计器相关的平均平方偏差、方差和MSE。在雕像里。4.1，我们绘制了两个估计器在不同样本量下的偏差平方、方差和均方误差，这两个估计器分别针对lnCnt的系数（即机器学习产生的变量）和回归模型中的所有系数。

我们还绘制了两个估计器的平方偏差、方差和MS E的比率。根据经验，我们发现ForestIV的偏差、方差和均方误差均小于样本分割，且两者之间的比率始终小于1。此外，我们观察到，随着训练数据的规模越来越大，ForestIV的偏差率和MSE率在样本分割上呈下降趋势。这一经验证据表明，ForestIV可能比样本分割更有效。在训练数据大小固定的情况下，前者比后者获得更小的偏差和更小的方差（即更好的估计），而ForestIV的优势似乎随着训练数据大小的增加而变得更大。E.4.2使用树木子集作为内生协变量和工具当我们建议使用随机森林中的一棵树作为内生协变量，并在这种限制下为其选择工具时，当然可以使用森林中的树木子集来构建内生协变量。这种方法的潜在好处是，在多棵树上进行聚合可以产生更准确的预测，这表明提前减少了测量误差问题。然而，这种方法带来了计算上的挑战，因为在由M棵树组成的森林中，有O（2M）个可能的树子集，通常不可能穷尽地枚举和处理。尽管如此，我们还是对这一策略进行了初步探索。我们没有列举所有可能的子集，而是随机抽样所有树的q%，并使用它们的平均预测作为内生协变量。然后，从这里开始（1）- q） 对于%的树，我们选择适当的工具（每个工具仍然是单个树的预测）来估计回归。

树抽样和工具选择过程重复100次，产生100个内生和工具变量元组。请注意，我们只生成了100个这样的元组，因为即使对于固定的q%（例如≈ 3×10种方法从100棵树的随机森林中取样30吨稀土）。与ForestIV一样，我们通过选择使经验MSE最小化的元组得出结论。我们在自行车共享数据集下使用相同的基本模拟配置，并在三个级别上改变q%，分别代表低、中、高级别的子集聚合，分别为30%、50%和70%。对于每个选择的q%，我们在表中报告了100次模拟运行的平均估计值（以及有偏、无偏和ForestIV估计值）。4.2.我们发现，与我们提出的ForestIV方法相比，随机选择一个子集树来构建内生协变量在偏差校正方面的效果有限。在三种不同的抽样比率中，我们承认，如果训练数据的规模显著增大，样本分割方法的性能可能会进一步提高。

然而，我们必须再次重申，在有更多数据的情况下，没有必要首先通过机器学习技术“挖掘”协变量。0.0000.0250.0500.0750.100500 1000 1500 2000训练数据的大小平方偏差激励Forestiv样本分割lnCnt2e的平方偏差-043e-044e-04500 1000 1500 2000训练数据方差的大小估计器ForestIV样本分割lnCnt0的方差。0000.0250.0500.0750.1000.125500 1000 1500 2000训练数据的大小MSEIV样本分割lnCnt012500 1000 1500 2000训练数据的大小平方偏差激励ForESIV样本分割所有变量的平方偏差之和0。0040.0060.0080.010500 1000 1500 2000训练数据的大小方差估计器ForestIV样本分割所有变量的方差之和12500 1000 1500 2000训练数据的大小估计器ForestIV样本分割所有变量的MSE 0。000.250.500.751.00500 1000 1500 2000训练数据的大小平方偏差比率ForestIV在样本分割上的平方偏差比率0。500.751.001.251.50500 1000 1500 2000训练数据的大小方差比ForestIV对样本分割的方差比0。000.250.500.751.00500 1000 1500 2000训练数据大小MSE比率ForestIV与样本分割的比率图6:ForestIV与样本分割之间的平方偏差、方差和MSE比较。垂直条形图显示95%的置信区间。第一行中的三个图显示了lnCnt的平方偏差、方差和MSE，这是机器学习产生的变量。第二行的三个图显示了模型中所有变量的平方偏差、方差和均方误差。

第三行的三个图显示了当考虑所有变量时，两个估计器之间的平方偏差、方差和均方误差的比率。有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；无偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；有偏见的；调查；抽样；抽样；抽样；50%抽样；抽样；50%抽样；抽样；抽样；50%抽样；抽样；抽样；50%抽样；抽样；抽样；50%抽样；抽样；抽样；抽样；70%抽样；抽样；抽样；抽样；抽样；抽样；调查；抽样；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查；调查][0.000][0.000]Z2。0.000（0.003）1.999（0.011）2.000（0.003）2.000（0.003）1.999（0.003）1.999（0.003）[0.459][0.524][0.977][0.885][0.822][0.667]Z1。01.000（0.002）0.999（0.006）1.000（0.002）1.000（0.002）1.000（0.002）1.000（0.001）[0.480][0.486][0.989][0.846][0.947][0.944]平均均方误差0.150 0.017 0.096 0.166 0.132表6：使用树子集：自行车共享数据的结果。括号中的标准错误。p值将估计值与方括号内的真实值进行比较。Ave MSE包含与100次模拟运行中的每组估计值相关的Ave MSE。与有偏差的估计相比，这些估计只取得了很小的改进。注意，与所有O（2）可能的子集相比，我们只探索了数量非常有限的子集，并且我们将每个工具限制为来自单个树的预测（而不是来自树子集的聚合预测）。完全探索所有可能的内生变量和工具变量对（每个都由树子集组成）显然是不可行的。

未来的研究可能会进一步发展这一查询途径，研究潜在的启发式或优化方法，以减少大量树子集枚举的计算负担。E.4.3多个估计值的平均值我们现在检查ForestIV程序中多个估计值的平均值是否可以增强偏差校正。具体而言，在ForestIV的第3步中，我们没有选择一组使经验MSE最小化的估计值，而是对所有未被霍特林Ttest拒绝的估计值进行平均。表E中报告了平均估计数以及有偏、无偏和ForestIV估计数。4.3.真实有偏无偏前stIV平均森林干扰1.0 0.702（0.063）1.018（0.204）0.957（0.1 34）0.797（0.086）[0.004][0.511][0.745][0.018]lnCnt 0.50.566（0.013）0.498（0.040）0.512（0.27）0.545（0.018）[0.002][0.530 0.652][0.011 Z2。02.000（0.003）1.999（0.011）2.000（0.03）2.000（0.003）[0.459][0.524][0.977][0.977]Z1。0.1.000（0.002）0.999（0.006）1.000（0.0 02）1.000（0.002）[0.480][0.486][0.989][0.987]平均均方误差0.150 0.017 0.101表7：平均估计：自行车共享数据的结果。括号中的标准错误。p值将估计值与方括号内的真实值进行比较。Ave MSE包含与100次模拟运行中的每组估计值相关的Ave MSE。051015200.500 0.525 0.550 0.575 LNCNTdensity的效率图7:100次模拟运行中lnCnt上的ForestIV估计分布我们可以看到，在这种情况下，虽然多个估计值的平均确实在一定程度上继续缓解偏差，但它并不像我们的基线ForestIV方法那样有效，它采用了使经验均方误差最小化的单元组。

平均的有限效用是因为估计值并非“对称”分布在系数的真实值周围（关于lnCnt上平均系数的分布，见图E.4.3）。相反，价值观的分布在单一方向上系统地偏离了真实价值观。这在一定程度上并不令人惊讶，因为已知2S-LS估计在有限样本中存在偏差（Nagar，1959；Buse，1992）。因此，与选择“最佳”元组（使经验MSE最小化的元组）相比，平均值产生的校正结果更差。注：有些元组可能最终无法通过霍特林的Ttest测试，尽管其中包含无效或较弱的工具（请记住，未能拒绝完全等效假设并不意味着应“接受”所述空值）。直观地说，通过选择“最佳”元组，我们应用了最严格的p值阈值，从而降低了我们在最终估计中无意中保留较差工具的可能性。如果保留的工具质量较低，它们可能会使结果的估计偏向有偏差的OLS（Murray，2006；Wooldridge，2002），这正是我们在这里观察到的。尽管如此，我们相信，未来的工作可以调查平均值在某些条件下是否有利，或者开发新的方法，在某些仪器可能无效或较弱时得出更稳健的估计（例如，基于Conley等人2012年的工作）。F二元内生协变量与银行营销数据F的模拟结果。1.表F中的主要结果。1.我们报告了有偏回归和无偏回归的所有模拟轮的平均系数和标准误差（括号内）。

对于ForestIV，我们将100轮模拟中抽样分布的平均系数和标准差报告为标准误差。我们再次计算与t检验相关的pvalue（方括号内），将每个估计系数与其基础真值进行比较。我们可以看到，在回归中直接使用随机森林的预测会导致平均45.6%的低估。ForestIV在减少估计偏差方面同样有效。ForestIV校正系数与其真实值没有显著差异，且ForestIV估计值比无偏估计值的标准误差更小（即更高的估计精度）。真有偏无偏前斯蒂文特塞普1.01.042（0.010）1.013（0.055）0.995（0.017）[0.007][0.454][0.751]沉积物0.50.272（0.040）0.519（0.140）0.516（0.116）[0.000][0.426][0.888 Z2。02.002（0.017）1.999（0.090）2.001（0.016）[0.504][0.581][0.920]Z1。01.001（0.010）1.004（0.052）1.000（0.010）[0.475][0.454][0.941]平均均方误差0.108 0.023表8：银行营销数据的ForestIV结果。括号中的标准错误。p值将ImageMates与方括号中的真值进行比较。Ave MSE包含100次模拟运行中与每组估计值相关的平均经验MSE。F、 2敏感性分析我们进行额外分析，以了解ForestIV在二元内源性卵巢酸盐分类错误的情况下的表现。我们重复对连续病例进行的所有敏感性分析，并在本小节中报告结果。灵敏度分析同样由三部分组成。

我们分别就（1）未标记数据的大小，（2）计量经济数据中的噪声量，以及（3）随机森林的预测性能（通过改变树木总数来操作）来检验森林估计的性能。对于本节中的所有模拟，我们使用相同的“银行营销”数据集（Moro等人，2014），除非另有说明，模拟设置与主要手稿中的相同。F.2.1未标记数据的大小我们使用8种不同大小的未标记数据重复模拟，分别为100、500、1000、10000、20000、30000、40000和43211（即所有剩余实例）。在图F中。2.1，我们根据不同大小的未标记数据绘制了95%置信区间和存款点估计。ForestIV估计值的95%置信区间被构造为抽样分布的2.5%和97.5%之间的范围。-1.5-1-0.50.00.51.01.50 10000 20000 40000未标记数据的大小存款偏差系数Forestiv无偏差-0.2-0.10.00.10.20.30.40.50.60 10000 20000 40000未标记数据大小存款偏差系数ForestIV图8:C不同大小未标记数据的存款的置信区间和点估计。左面板显示了不同大小未标记数据的存款估算的95%置信区间。右面板显示了基于单个模拟运行的不同大小的未标记数据的存款点估计。存款的真实系数是0.5。我们观察到的模式与连续内源性协变量的情况相同。首先，不管未标记数据的大小，有偏估计都会保持有偏。另一方面，当有足够的未标记数据可用时，ForestIV会产生收敛估计。

拥有更多未标记的数据可以进一步缩小存款的置信区间，这表明估算精度有所提高。同时，尽管存在一些局部波动，但单次模拟的点估计值支持相同的观察结果。F.2.2计量经济数据中的噪声我们通过将σε从2增加到5，在计量经济数据中引入更高的噪声。下表总结了模拟结果。2.2.我们观察到，虽然存款的平均点估计几乎与σε=2时相同，但相关的平均标准误差变得更大，这是数据中噪声增加的直接结果。最后，与无偏估计相比，ForestIV估计在估计精度上保持明显提高。真有偏无偏前stIVIntercept 1.01.041（0.025）1.030（0.138）0.994（0.038）[0.229][0.483][0.870]沉积物0.50.277（0.099）0.483（0.346）0.513（0.206）[0.115][0.433][0.950]Z2。01.997（0.042）1.999（0.224）1.997（0.040）[0.524][0.558][0.942]Z1。0 1.002（0.024）1.013（0.129）1.002（0.024）[0.480][0.491][0.928]平均均方误差0.317 0.193表9:ForestIV对σε=5的银行营销数据的结果。括号中的标准错误。p值将估计值与方括号内的真实值进行比较。AveMSE包含100次模拟运行中与每组估计值相关的平均经验MSE。随机森林的预测性能我们对随机森林中的树木总数进行了5种不同的选择：25、50、100150和200。我们在下表中报告了每种M的100个模拟回合的平均ForestIV估计值。2.2. 随机森林的预测性能以平均精度来衡量。

此外，我们在表的最后一行报告了平均霍特林T统计量，该统计量将βLabel与ForestIV估计值进行了比较。10.67%89.86%89.86%89.89%89.89%89.89%89.89%89.89%89.89%89.85%89.89%89.89%89.89%89.89%89.89%89.89%%%的ZF部门有百百百分之89.89.89%百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百分百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百百6]Z2。0.001（0.016）1.996（0.020）2.001（0.017）2.002（0.017）2.001（0.017）[0.945][0.856][0.920][0.908][0.926]Z1。01.001（0.010）1.002（0.009）1.001（0.010）0.999（0.008）0.999（0.010）[0.905][0.798][0.941][0.894][0.933]平均均方误差0.026 0.022 0.023 0.022。Hotelling Tstats 3.0614 3.0786 2.9300 2.9404 2.6267表10:ForestIV对M.标准误差不同选择的估计值，括号内。p-va值将iMate值与方括号中的真值进行比较。AveMSE包含100次模拟运行中与每组估计相关的平均经验MSE。在这个特殊的例子中，M的不同选择与平均非常相似的精度有关。尽管如此，我们还是观察到了连续情况下的一致模式。具体而言，将平均点估计值作为ForestIV校正性能的指标，M=200在该特定数据集上产生相对更好的校正。

树太少（M=25）会影响预测精度和平均校正性能。请注意，校正性能再次与霍特林t统计量的平均值一致，较小的统计量表明校正性能更好。在计量经济学文献中，研究人员提出了替代的ias校正方法，以校正由测量误差引起的估计偏差，如矩量法、基于似然的方法、反卷积、回归校准、，以及模拟外推（关于这些方法的详细讨论，我们参考toGrace，2016）。这些偏差校正方法背后的一个共同主题是，它们都依赖于有关测量误差的统计特性的信息，例如其分布或矩。虽然在大多数情况下，这些信息通常是不可观察的，但当测量误差来自机器学习模型中的预测误差时，这些信息是可用的（Yang等人，2018）。这是因为建立预测性机器学习模型的过程通常涉及对其保留数据的性能进行评估，这一过程产生的性能指标可以反映预测误差（以及测量误差）的程度。在本节中，我们将重点介绍ForestIV与三种可选偏差校正方法的对比：（i）模拟外推（SIMEX），（ii）潜在工具变量（LatentIV），以及（iii）非参数生成回归器的回归调整。我们将在下面简要介绍每种方法。SIMEX（Cook and Stefanski，1994）是一种基于模拟的通用方法，可用于解决任何计量经济模型中的测量误差。

它直接利用误差大小信息（例如，基于机器学习预测性能的误差方差）创建一组观测数据的自举样本，特别是在每次后续重新采样时引入更大的测量误差。然后，该算法根据不同程度的测量误差估计一组相应的系数，将参数函数设置为系数误差观测值对，并最终将系数估计外推到测量误差为零的情况。虽然最初的SIMEX方法被提出用于解决连续协变量中的测量误差，但研究人员后来开发了一种称为误分类SIMEX（MC-SIMEX）的变体，用于处理不连续协变量中的误分类（K¨uchenho ffe et al.，2006，2007）。灵活性是SIMEX的关键优势。它只需要测量误差的聚合信息，例如，连续协变量的误差方差或二元协变量的召回率，这可以从测试数据中估计。此外，SIMEX可以通过标准程序应用于一大组计量经济模型，并且不需要为每个计量经济模型规范明确重新公式化。Yang等人（2018年）对各种估计器和计量经济学规范全面记录了SIMEX纠正因测量误差而产生的偏差的效果。几项研究还讨论了SIMEX在更复杂的测量误差问题上的应用，例如具有误差倾向的固定和随机效应的GLM（Wang和Lin，1998），以及非参数模型（Carroll等人，1999）。

在两个不同的数据集上，我们分别将ForestIV与SIMEX（一个有测量误差的连续协变量）和MC-SIMEX（一个有误分类的二元协变量）进行对比。最近的方法是由Ebbes等人（2005年、2009年）提出的，以解决线性回归模型中的内生性问题，而不使用可观察工具。LatentIV通过对潜在（即未观察到的）离散工具建模来实现识别，以解释内生协变量和回归模型误差项之间的相关性。我们使用自行车共享数据集对ForestIV和LatentIV进行基准测试。最后，我们考虑在生成的回归系数文献中提出的一种特殊回归调整方法。Meng等人（2016年）研究了线性回归的估计，其中一个协变量不是直接观察到的，而是可以基于相关数据样本进行近似计算（例如，一个国家的收入不平等衡量指标是未观察到的，但可以从该国的个人收入样本中进行估计）。由于基于样本的未观测协变量近似可能会有噪声，线性回归会受到测量误差问题的影响。作者假设，生成的回归器背后的函数关系在观测值之间是不一致的，因此生成的回归器可以被视为非参数的。Meng等人（2016年）推导出了偏差大小的明确公式，作为测量误差前两个时刻（例如，平均值和方差）的函数，允许对偏差估计进行相应调整。在我们的环境中，测量/预测误差的矩统计可以使用直接观察预测误差的测试数据轻松估计。因此，我们能够实现Meng等人。