然后，测试将拍卖的分数进行比较，以便重点广告客户的广告在这两组人之间显示出来。如果这些分数不同，我们就有证据表明存在分配变化。为了在统计上实现这一点，我们进行了t检验，以评估重点广告商赢得的拍卖的细分是否随其主要竞争对手的存在而变化。结果如表6所示。表6：存在分配效应的测试活动t统计p值1 9.5686 0.00002 249.72 0.00003 15.622 0.00004 4.6626 7.81×10-75 18.537 0.00006 259.50 0.00007 73.079 0.00008 2.4209 3.87 ×10-39 9.7198 0.000010 30.426 0.000011 14.397 0.000012 3.3501 2.02 ×10-413 34.323 0.000014 3.4914 1.20 ×10-47.8221 1.28 ×10-1516 24.192 0.000注：观察单位为广告展示机会。该变量是焦点广告客户是否暴露其广告的指标。我们发现了分配变化的有力证据。在所有16场广告活动中，我们都能够推翻一个无效假设，即焦点广告商赢得的拍卖比例并不取决于其主要竞争对手的存在。这表明：（a）竞争干扰效应存在，（b）分配变化是他们在这个市场上运作的重要渠道。结合表5的结果，这也证明了外部性的存在。这是因为相互作用参数在定性和定量上的异质性。以活动2和3的结果为例。如表6所示，其主要竞争对手的存在会影响其广告展示的概率，这意味着其主要竞争对手能够在焦点公司的实验中向用户展示其广告。然而，表5中活动2的交互参数为正且显著，而活动3的交互参数为负且显著。

这意味着焦点广告商的回报受到向用户展示的广告的身份的影响，这就是我们所说的外部性。因此，我们有证据表明，我们在第9.2节中检测到的竞争性干扰效应不仅是分配变化的结果，也是外部性的结果，这表明了这种竞争性广告环境的复杂性和丰富性。企业广告的效果不仅受其竞争对手数量的影响，因为该数量直接影响其展示广告的能力。此外，能够展示其广告的竞争对手的身份也是相关的。此外，值得注意的是，互动效应可以是正面的，也可以是负面的，因为这表明企业的广告可以是互补的，也可以是替代的。9.4恢复所有可能的ATEATES我们现在通过实施第6.2节中描述的基于核的估计器来更详细地分析竞争干扰效应。我们通过关注第三个活动来说明这种方法。我们选择这场运动有两个原因。首先，估计的无条件ATE很重要。其次，其相对较少的观测值便于使用基于核的估计器，考虑到带宽是通过漏掉交叉验证计算的，其实现非常需要大量计算。9.4.1交叉验证带宽在给出主要结果之前，我们首先在图10中显示我们为每个竞争对手计算的活动3的交叉验证带宽。这些带宽不仅是竞争干扰效应的第一个指标，而且也是竞争对手与更强的此类效应相关联的第一个指标。我们相信这是一个重要的直觉。

要看到这一点，请回忆一下，在基于核的估计器中，将整个向量λ设置为零会产生线性回归估计器，如不等式所示（16）。这可以通过方程式（19）和（20）更容易看出。方程（19）表明，如果λ=0，则如果Zi f=z，则L（Zi f，z，λ）=1，否则L（Zi f，z，λ）=0。将这些结果插入方程（20）中表明，当λ=0时，用于估计θ（z）的唯一观测值是Zi f=z的观测值。因此，得到的估计值与方程（16）中的估计值相对应。相比之下，设置λ=1意味着L（Zi f，z，λ）=1表示所有z，因此所有观察值都被使用，而不管z。因此，Aλ=0意味着没有观察值的汇集，并且对应于焦点公司的ATE根据竞争对手广告政策的每个状态而不同的情况。反过来，λ=1意味着完全汇集了观察结果，并对应于这样一种情况，即重点企业的ATE完全不会因竞争对手的广告政策而变化。因此，焦点企业相对于竞争对手的λ越小，竞争对手对焦点企业的干扰就越大。注意，由于带宽是根据数据计算的，如等式（21）所示，我们可以将计算的带宽解释为来自每个竞争对手干扰程度数据的经验总结。图10：交叉验证带宽1 2 4 5 6 7 8 9 10 11 12 13 14 15 16竞争活动带宽0.0 0.2 0.4 0.6 0.8 1.0注：该图显示了与每个第3家竞争对手相关的带宽。带宽是通过第6.2节所述的留一异交验证获得的。图10显示了为活动3计算的15个竞争对手的交叉验证带宽。

与竞争企业1、4、9和15相关的带宽非常接近1，表明企业3相对于其他竞争企业而言，不会受到这些竞争对手的显著竞争干扰影响。反过来，表2、12、13和14显示的带宽最小，这表明这些是竞争对手使θ更深入地理解这一点，请注意，λ的值越高意味着观测值的集合越多，因此，利用zto估计θf（z）从观测值中借用更多信息，式中，z6=z。这种“信息贷款”被用来抵消模型的恶化：λ的较高值通过增加均方误差（MSE）来惩罚模型性能。如果增加λ导致MSE大幅增加，则证明θf（z）6=θf（z），因此存在相关干扰。对表3的竞争干扰效应最强。图10再次重申了数据中存在大量竞争性干扰。9.4.2评估、竞争干扰和与ATEATEATE原始评估的比较我们现在根据竞争对手的广告政策，对3号公司广告的2=32768个不同ATE进行了评估。目标是评估ATE的异构程度，因此考虑竞争对手的政策至关重要。图11显示了估计的ATE。图11:ATE估算-0.2-0.1 0.0 0.1 0.2辅助重要ATEsNon-重要ATEsNote：该图显示了ATE的估计值。蓝点表示5%水平的统计显著性估计，而红点表示非显著性估计，两者均基于50次重复的非参数自举。图11以蓝色显示统计显著性估计值，以红色显示非显著性估计值，从而区分统计显著性估计值和非显著性估计值。

显著性处于5%水平，并使用基于50次复制的非参数自举法确定。令人感兴趣的是，根据我们简单的“重叠”指标，我们之前评估为第3家主要竞争对手的第10家房地产公司的带宽相对较高。这意味着它不一定是表3最接近的竞争对手，这表明我们之前基于重叠度量的干扰测试是保守的。在重新采样时，估计量允许我们保持带宽不变，使我们能够遵循一个典型的引导过程：我们从样本中抽取替换样本，并计算每个引导样本的所有ATE。然后，我们使用50个引导样本计算每个ATE的标准误差，并使用它们评估统计显著性。在32768项估计中，11616项（占35%）在通常水平上具有统计学意义，这表明我们在ATE中看到的竞争对手政策的变化并不是简单地由抽样和估计噪声驱动的。有趣的是，大多数负面估计（可以说更违反直觉）在统计上并不显著。为了可视化竞争性干扰引起的ATE扩散，图12显示了使用高斯核和Silverman经验法则带宽计算的估计ATE的估计密度。在右上角，我们显示了此分布的相关数量。其范围为-0.2408至0.1853，平均值为0.0320。与平均值0.0320相比，该分布的标准偏差为0.0411，表明ATE之间存在显著的异质性。

最后，中值为0.0348，分布相当对称。ATE分布的分散性分析与评估我们所说的“环境不确定性”的重要性相关：它反映了企业对其竞争对手将在市场上做广告的不确定性。由于估计ATE有助于企业决策，因此ATE之间的高度分散表明考虑环境不确定性很重要。然而，企业遵循的典型方法忽略了环境不确定性，该方法侧重于无条件ATE，通常通过均值估计值的差异获得。如果环境的不确定性是相关的，遵循这种典型的方法可能会损害决策，我们将在下面进行更详细的研究。作为这一分析的先兆，我们现在考虑环境不确定性中有多少是由统计不确定性捕获的，这些统计不确定性围绕着从典型均值差异方法中获得的无条件ATE估计值。如果无条件ATE的统计不确定性几乎没有捕捉到环境的不确定性，那么包含前者但忽略后者的典型决策可能是次优的。为了对此进行评估，图12还显示了表3无条件ATE均值估计的差异，以及其各自的95%置信区间，我们将其用作统计不确定性的度量。我们使用所有实际或反实际暴露于表3广告的用户计算无条件ATE。该点估计值为0.0300，95%置信区间为0.0147至0.0453。如图12所示，相对于可能的ATE的全部范围，该置信区间涵盖的ATE范围较小。

全范围为-0.2408至0.1853，因此无条件ATE的置信区间仅为全范围的7.18%。这表明，即使决策考虑了无条件ATE的统计不确定性，但由于忽略了环境不确定性的很大一部分，其表现仍然很差。我们将在下面对此进行更详细的研究。图12:ATE的密度-0.2-0.1 0.0 0.1 0.2 0.30 2 4 6 8 10 12 ATESPDFPDF os ATEsOLS-基于ATEmax的95%CI=0.1853min=-0.2408mean=0.032median=0.0348s。d、 =0.0411注：该图显示了估计ATE的估计PDF（实线）、基于简单线性回归的ATE估计（垂直虚线）以及与该点估计相关的95%置信区间（阴影区域）覆盖的PDF下的区域。该置信区间是使用对异方差稳健的标准误差构建的。PDF是使用aGaussian内核和Silverman经验法则带宽估计的。9.4.3对企业决策的影响目前为止，我们已经描述了我们在恢复所有可能的ATE时获得的结果，以及它们与通过简单的均值差异恢复的无条件ATE的比较。本节评估了这些不同的方法如何影响企业在实验结束后做出的决策。决策场景我们考虑一个简单的场景，在这个场景中，企业需要决定是否在平台上做广告。做出这个决定是为了最大限度地提高广告的预期收益，因此，当且仅当ATE超过广告成本（我们用κ表示）时，才做出最佳决策。

换言之，f公司的最佳广告政策与其竞争对手政策的函数关系如下：*f t公司A.-f，t=吃了A.-f，t≥ κ, （24）为简单起见，我们假设κ不随-展望未来，我们将把这一决定称为“政策”，并将其执行所需的治疗效果称为与政策相关。为了举例说明，我们将根据ATE的点估计计算策略。实用决策的三个简单政策如果f公司可以获得所有ATE，如图10所示，那么通过使用每个可能的竞争对手州的适当ATE，实施（24）中给出的最佳广告政策将是简单的，这样就不会发生事前错误。然而，这样做在实践中可能很困难，因为（a）平台可能会面临向企业披露多少信息的限制，尤其是关于其竞争对手的活动；以及（b）利用所有可能的ATE需要企业具有很大程度的分析复杂性和计算能力，这可能是缺乏的。因此，我们考虑三种替代策略，它们使用的信息比ATE的整体再分配更有限。如果从平均数估计值的典型差异中获得的无条件ATE高于广告成本κ，则第一项政策包括固定广告。换言之，企业将该点估计值插入方程式（24）中，并实施由此产生的政策。由于实验者通常只计算此ATE，因此我们将此策略称为“默认ATE策略”我们考虑的第二个策略是平台估计所有τf t（A-f，t）条款，但仅向公司报告-f，t.The fim then plugsOne可以想象实际情况并非如此。

例如，如果广告是通过拍卖购买的，那么竞争对手的数量应该会影响支付的价格。我们坚持这个假设以保持分析的简单。该“集成”ATE到等式（24）中，并实现最终的估计最优策略。该政策的动机是公司面临的贝叶斯统计决策理论问题。假设企业对ATE的不确定性是由-f，t，如果后验预期值超过成本κ，则公司的最佳决策是进行广告宣传。然后，该方法采用ATEs的估计分布和τf t（A）的后验分布-f，t）计算后验预期ATE。我们将此政策称为“综合ATE政策”最后，我们考虑的最后一个策略是平台报告每个κ值的ATE超过它的概率。然后，该公司将根据这种概率随机发布广告，这对应于一种简单的概率匹配形式。我们将此政策称为“随机ATE政策”默认的ATE和随机化的ATE策略是启发式的，而集成的ATE策略可以由贝叶斯统计决策理论问题驱动。然而，应根据经验评估其实际表现。三种情景下的评估为了比较这三种政策，我们考虑了三种不同的情景。首先，我们假设-f，ts是等概率的。接下来，我们只考虑-f，t取值为仅存在一个竞争对手，并假设产生的15种情况发生的概率相等。最后，我们考虑一个场景，在这个场景中，广告商运行他们的实验，并遵循天真的方法，通过忽略平行实验的均值差异激励来计算无条件的ATE。

然后，我们只考虑以下情况：如表4所示，具有显著估计值的广告人的ATE处于5%的显著水平（即广告商1、5、9、11和15）总是在做广告。我们假设这些情况很可能发生。对于这三种情况中的每一种，我们计算在遵循这三种可能的政策时，表3犯事前错误的概率，并对不同的κ值重复此练习。结果如图13所示。从以下备选政策的结果来看，总体而言，我们发现所有三项政策都有可能导致与使用全套ATE进行决策相关的事前错误。我们可以认为这反映了由两个原因导致的效率低下。第一，根据图13的错误假设做出决策：不同场景下错误广告决策的概率（a）所有场景的概率相同0.00 0.02 0.04 0.06 0.08 0.100.0 0.2 0.4 0.6 0.8 1.0广告成本错误违约概率-ATE策略集成-ATE策略随机化-ATE政策（b）一次仅1名竞争对手0.00 0.02 0.04 0.06 0.08 0.100.0 0.2 0.4 0.6 0.8 1.0广告成本错误违约概率-ATE策略集成-ATE策略随机化-ATE政策（c）具有重要ATE的竞争对手总是广告0.00 0.02 0.04 0.06 0.08 0.100.0 0.2 0.4 0.6 0.8 1.0广告成本错误违约概率-ATE策略集成-ATE策略随机化-当治疗效果（关于竞争）实际上是异质的时，ATE政策同质治疗效果。第二，通过使用简单的决策规则，当最优决策规则实际上更加复杂和细微差别时。此外，所有政策都显示出一种类似倒U形的事前错误概率模式。这有一个直截了当的解释。

当κ非常低时，大多数酸盐超过它，因此，根据方程式（24），在大多数情况下，最佳决策是广告；因此，无论采用何种政策，事前出错的概率相对较低。类似的结果适用于κ的高值，该值超过了大多数ATE，因此在大多数情况下，最佳决策是不发布广告，这是所有策略都能捕捉到的。因此，当κ的值相对于ATE的范围处于中间时，我们所考虑的政策之间的差异会更大。然而，从经验来看，我们发现综合ATE政策在这三种情况下表现最好。当一次只能出现竞争对手时，它严格控制默认ATE策略和随机ATE策略。当所有情况都可能发生时，且仅当广告客户对其ATE总广告客户有重大估计时，才会考虑，在κ的绝大多数值上，综合ATE策略支配着随机ATE策略（综合ATE策略的平均事前错误概率约为23%，而随机ATE策略的平均事前错误概率约为30%）。总的来说，我们从这些结果中得出了两个结论。首先，依靠天真无条件的ATE，忽视竞争互动，可能会导致许多错误和低质量的企业实验决策。其次，对简单政策的评估有助于实际决策。他们指出，从非参数估计器中获得的信息可以总结为一个易于解释的数量（即综合ATE），当通过平台计算并报告给实验公司时，可以导致更好的决策。

这可能是平台将其开发的理论直觉实现到其实验报告和决策建议框架中的一种实用方法。10结论当多家公司进行平行实验时，对平台上的实验进行SAN评估。核心关注点是企业之间的平衡模板竞争引起的相互作用，以及此类相互作用对此类平行实验下治疗效果测量的影响。本文的主要观点是，当企业之间的竞争非常激烈时，例如当许多广告商在出版商上争夺容量有限的广告位时，这些互动会对通过平台实验测量的因果效应产生微不足道的影响。当focaladvertiser向目标用户展示其广告的机会受到竞争对手的影响时，就会出现一种交互渠道，我们称之为分配变化。另一种交互渠道，我们称之为外部性，发生在焦点广告商的广告对目标用户的影响受其对竞争对手广告的曝光影响时。在竞争平台上，这两种交互都变得显著，并影响在实验过程中测得的结果。当实验结束时，这些相互作用的性质会发生改变，从而导致对实验阶段中获得的测量值到实验后阶段的可移植性的担忧，在实验后阶段，需要根据他们在实验阶段学到的知识做出决策。围绕这一主题，本文完成了以下工作：1。这表明平行实验可以起到双刃剑的作用。一方面，它有助于评估一组稳定的治疗效果，这些效果可以转移到实验后的场景中。

另一方面，它降低了简单估计器的可解释性和经验内容，例如给定广告客户的测试组和对照组的平均值差异，而这些测试组和对照组忽略了此类平行实验；2、它概述了一个正式分析这些相互作用的框架，并提出了一组新的因果估计，这些估计在存在竞争性相互作用的情况下具有精确的解释性，并且是可移植的；3、概述了一个能够调查竞争性干扰的简单平台实验设计，并证明在该设计下，提出的新因果估计是确定的；在这种设计下，它给出了两个便于推断的估计量。其中一位估计员利用非参数计量经济学的最新进展，汇集来自不同竞争状态的观察结果，以处理企业的治疗效果对其竞争对手的存在或不存在的高维依赖性，并通过大量平行实验扩展情况，同时促进可解释性；它展示了在广告活动的停留或退出问题的背景下，这些影响如何影响实验后的决策。还介绍和评估了一些简单的启发式算法，这些算法可用于对企业和平台的计算需求有限的实际环境中；6、将这些方面整合到为京东打造的广告实验平台中。com，一个电子商务平台和广告发布商，展示了如何将实验性设计构建成一个拍卖驱动的市场，以及该平台如何恢复相关的因果估计；7.

它还提供了在该平台上进行的大规模现场实验的数据，记录了相互作用的重要性，并作为拟议框架的真实实证说明。虽然本文的重点是广告，但在其他场景中也会出现类似的问题，例如在受试药物与其他药物有相互作用的情况下对药物进行实验测试；或者在定价实验中，一家重点企业的价格影响取决于其他企业提供的价格。因此，本文提出的想法可能有助于开发实验方法，以更广泛地理解实验中相互作用的情况。参考Acemoglu，D.（2010）。发展经济学中的理论、一般均衡和政治经济学。《经济展望杂志》，24（3）：17–32。Anderson，E.T.和Simester，D.（2013）。竞争市场中的广告：产品标准、客户学习和转换成本的作用。《营销研究杂志》，50（4）：489–504。Athey，S.、Eckles，D.和Imbens，G.W.（2018）。网络干扰的精确p值。《美国统计协会杂志》，113（521）：230–240。Barclay，W.D.（1969年）。定价实验中的析因设计。营销研究杂志，6（4）：427-429。Burke，R.R.和Srull，T.K.（1988）。广告的竞争干扰和消费者记忆。消费者研究杂志，15（1）：55–68。Clarke，D.G.（1973年）。销售广告交叉弹性和广告竞争。营销研究杂志，10（3）：250–261。Gomes，R.、Immorlica，N.和Markakis，E.（2009）。关键词拍卖中的外部性：实证和理论评估。Leonardi，S.，第五届网络和互联网经济学国际会议（WINE 2009）编辑，第172-183页，德国柏林。斯普林格。戈登，B。

R、 ，Jerath，K.、Katona，Z.、Narayanan，S.、Shin，J.和Wilbur，K.C.（2021）。数字广告市场的不足。《市场营销杂志》，85（1）：7–25。Heckman，J.、Hohmann，N.、Smith，J.和Khoo，M.（2000年）。社会实验中的替代和辍学偏见：一项影响广泛的社会实验研究。《经济学季刊》，115（2）：651–694。Hudgens，M.C.和Halloran，M.E.（2008）。走向干扰因果推理。《美国统计协会杂志》，103（482）：832–842。Imai，K.、Jiang，Z.和Malani，A.（2021）。两阶段随机实验中干扰和不服从的因果推理。《美国统计协会杂志》，116（534）：632–644。法学博士。com（2021）。jzt中的转换升降机。https://jzt.jd.com/.访问日期：2021 8月13日。Johnson，G.A.、Lewis，R.A.和Nubbemeyer，E.I.（2017）。鬼广告：提高衡量在线广告效果的经济性。《营销研究杂志》，54（6）：867–884。Keller，K.L.（1987）。广告记忆因素：广告检索对品牌评价的影响。消费者研究杂志，14（3）：316–333。Kohavi，R.、Longbotham，R.、Sommer field，D.和Henne，R.M.（2009）。网上对照实验：调查与实践指南。数据挖掘和知识发现，18（1）：140–181。Lambrecht，A.和Tucker，C.（2013年）。从通用到品牌：搜索广告的溢出模式。《营销研究杂志》，50（5）：561–576。Lewis，R.和Nguyen，D.（2015年）。显示广告对消费者搜索的竞争溢出效应。定量营销与经济学，13（2）：93–115。Li，Q.、Ouyang，D.和Racine，J.S.（2013）。分类半参数变系数模型。《应用计量经济学杂志》，28（4）：551–579。蒙哥马利特区（2017年）。实验设计与分析。约翰·威利父子公司。Munro，E.、Wager，S.和Xu，K.（2021）。

市场均衡中的治疗效果。arXiv:1109.6263。Muralidharan，K.和Niehaus，P.（2017）。大规模实验。《经济展望杂志》，31（4）：103–124。Narayanan，S.和Kalyanam，K.（2015）。搜索广告中的位置效应及其衡量因素：一种回归间断方法。营销科学，34（3）：388–407。Reiley，D.H.、Li，S.-M.和Lewis，R.A.（2010）。北方曝光：测量搜索广告之间外部性的现场实验。华盛顿特区帕克斯，《第11届ACM电子商务会议记录》（EC’10）编辑，第297-304页，美国纽约计算机械协会。Rivest，R.L.（1992年）。MD5消息摘要算法。互联网RFC 1321。Sahni，N.S.（2016）。广告溢出：来自在线现场实验和广告收益影响的证据。《营销研究杂志》，53（4）：459–478。Simester，D.、Timoshenko，A.和Zoumpoulis，S.I.（2020年）。有效评估目标政策：改进champion vs.challenger实验。管理科学，66（8）：3412–3424。Simonov，A.和Hill，S.（2021）。品牌搜索上的竞争广告：偷车和点击质量。营销科学，40（5）：923–945。Simonov，A.、Nosko，C.和Rao，J.M.（2018年）。在赞助搜索中，竞争和排挤品牌关键词。营销科学，37（2）：200–215。Tang，D.、Agarwal，A.、O\'Brien，D.和Meyer，M.（2010）。重叠实验基础设施：更多、更好、更快的实验。Rao，B.和Krishnapuram，B.，编辑，《第16届ACM SIGKDD知识发现和数据挖掘国际会议论文集》（KDD’10），第17-26页，美国纽约。ACM。Wager，S.和Xu，K.（2021）。在平衡状态下进行试验。管理科学，67（11）：6694–6715。Waisman，C.、Nair，H.S.和Carrion，C.（2022年）。实时竞价拍卖中广告的在线因果推理。

arXiv预印本arXiv:1908.08600。附录A证明A。1定理1的证明Fix t，Et和Ot。由于假设1，实验生成了所有可能的治疗和对照组合的数据。也就是说，所有组合如下：/∈ Et公司∪Ot，则所有i的Di f t=1∈ t；如果f∈ Ot，则所有i的Di f t=0∈ t；如果f∈ Et，则Di f t=1或Di f t=0。如备注2所述，如果我属于g的治疗组，那么我有资格看到g\'sad，因此Digt=1等于Agt=1，如果我属于g\'s对照组，则相反。因此，每个部分治疗分配，Di，-实验中观察到的f，t对应于A-f，t受约束，如果g∈ Ot，则Agt=0，如果g/∈ Et公司∪ Ot，则Agt=1。此外，假设2保证实验中的ad序列曝光概率与非实验环境相对应。把这些结果放在一起，结果如下Yi f tDi f t，Di，-f，t= EYi f tAf t，A-f，t. （A.1）然后得出方程式（8）的结果。A、 2定理2Fix t，eta和Ot的证明。我们知道：（i）该实验生成了所有可能的治疗和对照组合的数据；和（ii）对于部分治疗分配Di中的每个i，-f，t对应不同的a-然而，我们现在不知道，或者忽略，Di，-因此，可以恢复的对象是EYi f tDi f t，Di，-f，t, 如等式（10）所示，但与Di积分，-f，t给定σ-f，t。换句话说，确定的对象是方程式（11）中的对象。固定σ-f，t，所有部分治疗分配的集合由D给出σ-f，t. 由于假设1，每个部分治疗分配的概率为isPrDi，-f，tσ-f，t=∏g级∈F \\{F}σDigtgt1.-σgt1.-迪格特。

（A.2）因此，实验确定Yi f tDi f t，σ-f，t= 公共关系Di，-f，tσ-f，t×EYi f tDi f t，Di，-f，t. （A.3）最后，从备注2可以看出Yi f tDi f t，σ-f，t= EYi f tAf t，σ-f，t. （A.4）然后得出方程式（12）的结果。A、 3定理3的证明，考虑到表f∈ F、 固定E和Ot。假设1确保遵守所有可行的治疗任务。考虑一个这样的治疗任务，Dit。假设3，pWtDi f t，Di，-f，t根据观察确定，其完整治疗分配为Dit。此外，假设2意味着实验期间的显示概率对应于未经实验保持的显示概率。因此，对于与此Dit等效的ATT，它遵循PWTDi f t，Di，-f，t= pWt公司Af t，A-f，t, （A.5）确定结果。A、 定理4的证明在所述条件下，定理3成立。修复实验中观察到的t、Et、OTA和DIT，并将At作为DIT等效的广告策略向量。考虑人f∈ F、 如果pWtDi f t，Di，-f，t= pWt公司Af t，A-f，t> 0，则在Wit=W时观察到Yi f t（W）。因此，由于uf Wt=EYi f t（智慧）Wit=W, 此对象已识别。