如下所示，这些对象使用f来计算A上任何概率分布的ATE-f，t.4识别我们现在讨论通过上述实验设计实现的感兴趣对象的非参数识别：方程式（8）和（12）中给出的ATE，以及构成它们的对象，即PWT和uf Wts。这些识别结果是必需的，因此我们可以讨论实验结果是否以及在什么情况下可以传输到实验后环境，这是我们在第5.4.1节τf tτf tτf tS的识别中所做的。我们首先讨论方程（8）中定义的ATE的识别，这是我们感兴趣的主要对象。在此之前，我们首先陈述以下内容。备注3。评估ATE的最低要求（i）如果f∈ Et.（ii）公司f只能评估目标受众t的ATE如何随Agtif g变化∈ 等，如果g∈ Ot，f无法评估g广告对t的影响。如果g/∈ Et公司∪Ot，f无法评估gnot广告对t的影响。这些陈述很简单。备注3（i）指出，如果f在目标受众身上进行实验，f公司只能估计其广告对目标受众t的预期效果。如果是这样的话，t中有资格接收f的广告的用户，也有没有资格接收f的广告的用户，使f能够对比这两个组之间的结果以恢复ATE。否则，就不可能进行这种比较，也不可能识别出ATE。同样的逻辑，注释3（ii）指出，如果g在目标受众t上进行实验，f只能衡量ATE与g公司广告的变化情况。特别是，如果g不做广告，f无法评估g广告的影响。反过来，如果g是广告而不是实验，f无法评估g不是广告的影响。

最后，请注意，我们显式地编写了一个ATE，因为如等式（8）所示，有2F-1可能的目标受众t对公司f的ATE。我们现在给出一个关键结果，将这些陈述形式化。为此，它利用了第3节中给出的实验和假设。定理1。τf t的确定假设假设假设1和2成立。对于每个t、x和Ot。进一步假设Ditis已知并已使用。那么对于所有f∈ E和所有t，τf tA.-f，t, 如等式（8）所示，所有-f，t如果g，则Agt=1/∈ Et公司∪如果g，则T和Agt=0∈ 加班费。证据附录A.1中给出了证明。定理1指出，如果已知并利用用户的全面治疗分配，则所有实验公司对给定目标受众的广告政策的预期效果可从通过上述实验收集的数据中确定。然而，这些对象仅在没有广告的竞争企业没有广告的点识别，也就是说，仅在所有g的Agt=0的点识别∈ Ot，以及正在做广告但未进行试验的竞争企业的广告点，即只有Agt=1的所有g/∈ Et公司∪ 加班费。对于正在进行试验的竞争企业，它们在两个点上都是相同的，即所有g的Agt=1和Agt=0∈ 此外，由于使用了用户的完整治疗分配，因此这三组患者的所有可能组合都是相同的。请注意，如果所有公司都在所有目标受众身上进行实验，那么实验将产生所有F×T×2F的识别-1广告政策的可能性。4.2ξf tξf tξf tS的识别我们现在讨论ATE的识别，作为公司竞争对手实验政策的函数，如等式（12）所定义。第一个结果是定理1的直接结果。推论1。

ξf t的确定假设定理1的条件成立。然后ξf t（σ-f，t），如方程式（12）所定义，对于所有σ-f，t与A相关-f，t，即所有σ-f，t如果g，则σgt=1/∈ Et公司∪如果g，则t和σgt=0∈ 加班费。假设定理1确保了τf t的识别A.-f，t, 可以计算相关ξf t（σ-f，t）对于任何可行σ-f，tvia方程（12）。我们强调，这仅适用于可行σ-f，t因为g/∈ Et公司∪Ot，则必须保持σgt=1，且ifg∈ Ot，则必须保持σgt=0。这个结果可以进一步推广，我们将在第5节中这样做。我们现在考虑在更严格的条件下识别一些ξf。特别是，我们关注最具限制性的条件，其中Di，-f，未被观察或忽视。这是一个特别相关的情况，因为它对应于一个企业忽视或不知道竞争对手平行实验的情况。WEE建立以下结果。定理2。实验中ξf的确定假设假设假设1和2成立。对于每个t、fix和Ot，但假设Di，-f，未被观察或忽视。那么对于所有f∈ E和所有t，ξf tσ-f，t, 如等式（12）所示，仅针对σ-f，t在实验过程中保持不变。证据附录A.2给出了证明。在一个典型的实验设计中，只有重点企业的治疗任务是被考虑的，唯一确定的ATE是在实验期间持有的ATE。在存在平行实验的情况下，该ATE对应于与竞争对手实验所暗示的每个部分治疗分配相关的ATE的凸组合，其中归属于每个ATE的权重由用户分配给竞争对手治疗组的概率σ确定-f，t。

结果对象是ξf tσ-f，t如等式（12）所示。4.3 PWTPWTPWT和uf Wtuf Wtuf WTS的识别我们现在讨论构成方程式（8）中定义的ATE的对象的识别。它们与评估从实验中获得的结果是否以及如何在实验结束后传达给企业决策相关。我们首先做出以下假设，然后是我们的第一个识别结果。假设3。对于所有i，观察显示的广告序列∈ t和t∈ T、 观察和利用Witis。定理3。PWT的识别假设假设假设假设1、2和3成立。对于每个t、x和Ot。进一步假设Ditis已知并已使用。那么对于所有t∈ T、 pWt公司Af t，A-f，t识别所有W∈ WAf t，A-, f t公司如果g，则Agt=1/∈ Et公司∪如果g，则T和Agt=0∈ 加班费。证据附录A.3中给出了证明。定理3的证明很简单：假设1和3保证实验生成估计PWT所需的所有数据，而假设2确保实验中观察到的显示概率与未经实验的环境中的显示概率相等。我们现在确定第二个结果。定理4。uf wt的识别假设1、2和3成立。对于每个t、x和Ot。进一步假设Ditisknown和Used。那么对于所有f∈ Fand所有t∈ T、 uf重量（W）针对所有W进行识别∈WAf t，A-, f t公司这样pWtAf t，A-f，t> 0和所有，如果g，则Agt=1/∈ Et公司∪如果g，则OtandAgt=0∈ 加班费。证据附录A.4中给出了证明。相对于定理3，唯一需要的附加条件是pWtAf t，A-f，t> 这是为了确保在数据中获得暴露于序列W的观测值。最后，请注意，与定理1和2不同，定理3和4依赖于假设3。

然而，这些定理确定的对象并不局限于实验企业。4.4评论上述结果值得进一步评论。定理1是关键，因为它表明我们要恢复的对象，即方程式（8）中给出的ATE是确定的。定理2的目的是描述如果按照通常的方式进行，企业将恢复的对象的特征。对于实验者来说，典型的方法是比较治疗组和对照组中各单元的平均结果，从而缩小均值估计量的通常差异。在平行实验下，该估计器忽略了单元属于多个治疗组和对照组，恢复了定理2中描述的对象和方程（12）中给出的对象：方程（8）中给出的原始数据的凸组合。这一目标不能被解释为与政策相关的治疗效果，但在实践中很可能不会出现的特殊情况除外。定理3和4解决了构成ATE的对象的识别问题。我们将使用以下对象来描述ATE的稳定性。5可运输性企业的最终目标不仅是使用实验数据估计ATE，而且还要使用这些估计值为实验后的未来政策提供信息。我们现在讨论在什么情况下，从上述实验中获得的估计值可以传输到这个新环境中。我们考虑一种情况，即每家公司只学习自己的ATE，而不学习竞争对手的ATE，然后决定是否继续做广告。虽然有许多可能的方式，企业和平台可以在获得结果和实验结束后采取行动，但由于其实际简单性，我们将重点放在这个场景上。

首先，它只要求平台有足够的承诺向每家公司真实报告自己的ATE，而不是竞争对手的ATE，避免担心隐私和竞争泄露。其次，正如下文所述，它只要求企业对竞争对手的未来政策有信念，而这些信念是不受约束的。我们考虑企业在三种不同情况下的单方面反应，这三种情况对应于方程式（8）中构成ATE的对象的稳定性或缺乏稳定性，即PWT和uf Wts。正如下文所述，企业从实验中获得的估计值的传输能力取决于这些对象是否不稳定，从而影响其在实验后的决策。5.1当执行PWTPWTPWT和uf Wtuf Wtuf Wt时，首先考虑PWT和uf Wt在实验后没有变化的情况。pWts的稳定性意味着每个序列W的显示概率不会改变。反过来，uf Wts的稳定性意味着用户对ADS的行为反应保持不变。根据方程式（7）和（8），PWT和uf Wts的稳定性意味着Yi f tAf t，A-f，t和τf tA.-f，t也不要更改。已知τf tA.-f，t, f公司必须决定是否在实验结束后发布广告。因为这些目标取决于f公司竞争对手采取的行动，f需要对这些行动有信心。因此，问题是f公司是否能够根据其对竞争对手广告政策的信念计算出相关ATE。在定理1的条件下，答案是肯定的。为了更清楚地看到这一点，让πf tA.-f，t是a上的概率分布-f，t反映了f公司对其竞争对手针对目标受众的广告政策的信念。对πf t（·）没有限制。

设A为包含竞争对手广告决策的所有可能组合的集合。然后，我们可以将方程式（12）中给出的f广告政策的预期效果定义为πf t（·）：ξf t的函数πf t（·）=∑A.-f，t∈Aπf tA.-f，t×τf t（A-f，t）。（13） 以下结果立竿见影。推论2。可能ξf t的识别πf t（·）对每个t求出定理1的条件hold和fix Etand ots。然后ξf tπf t（·）, 如等式（13）所定义，所有πf t（·）均已确定，如果g/∈ Et公司∪Otand Agt=0if g∈ 加班费。定理1暗示τf t（A-f，t）为所有A-f t如果g，则Agt=1/∈ Et公司∪如果g，则T和Agt=0∈ 加班费。因此，通过方程式（13），可以计算ξf tπf tA.-f，t对于每个可行的πf t（·）。注意，等式（13）是等式（12）的更一般版本。不同之处在于，信念不受等式（12）中乘法形式的限制，这是假设1的结果。假设f可以计算ξf tπf t（·）, 然后，它就可以决定是否在实验结束后发布广告。假设f最大化其预期收益，当且仅当ξf tπf t（·）≥ κ、 其中κ是广告成本。最后，请注意，如上所述，f的预测受到一组实验公司等的限制。准确地说，只有当Et=f.5.2时，才能评估未来所有可能的广告组合。当PWTPWTPWT不固定，但uf Wtuf Wt f Wtuf Wt w时，我们现在考虑在实验结束后，当uf Wts固定时，PWT可以改变的情况。换言之，我们现在假设，在实验后，每个AD序列显示的概率都会发生变化，但向消费者显示序列的平均效果不会发生变化。要了解为什么会发生这种情况，请记住，在线广告通常通过拍卖进行销售。

例如，正如Waisman等人（2022）所讨论的，企业的最佳竞价策略取决于展示其广告相对于竞争对手广告的预期效果。因此，如果企业获得了uf Wt（W）的知识，那么他们可能会更改其投标，这反过来可能会改变pWt的概率Af t，A-f，t.我们现在假设平台真实地向f公司报告uf Wt（W）。在这种情况下，我们可以指定方程式（13）的更一般版本。现在，一家公司的信念不仅是关于其竞争对手中的哪一个将要做广告，而且还有一个前提条件是，将显示哪些广告序列。准确地说，让ζf tWAf t，A-f，t是一个概率分布，反映了f公司的信念，即广告序列W作为所有公司广告政策的函数显示给目标受众t中的用户，其中W∈ WAf t，A-f，t. 再一次，我们没有对这些信念施加任何其他约束。我们现在确定：ξf tπf t（·），ζf t（·）=∑A.-f，t∈Aπf tA.-f，t∑W∈W（1，A-f，t）ζf tW1，A-f，tuf重量（W）-∑W∈W（0，A-f，t）ζf tW0，A-f，tuf重量（W）.（14） 以下结果立竿见影。推论3。可能ξf t的识别πf t（·），ζf t（·）假设定理3和4的条件成立，并且每个t的fix Etand ots成立。然后得出ξf tπf t（·），ζf t（·）, 如等式（14）所示，所有πf t（·）均已确定，Agt=1 ifg/∈ Et公司∪如果g，则T和Agt=0∈ Ot和所有ζf t（·），如果pWt（·）=0，则ζf t（W·）=0。方程式（14）中定义的ATE的识别遵循与推论2类似的论点。计算给定信念集πf t（·）和ζf t（·）的这些ATE所需的输入是uf Wts，其识别条件在定理4中给出。

然而，请注意，现在这些信念不仅受到ETA和Ot的限制，而且还受到哪些广告序列可以以严格的正概率显示的限制，因为相关的uf Wt（W）不会以其他方式识别。5.3当uf Wtuf Wtuf Wt最终无法执行时，请考虑uf Wt发生变化的情况，这可能是最难处理的情况，因为uf Wt的变化意味着显示广告的预期效果会发生变化。这反映了用户在接触广告后行为反应的内在变化，因此意味着环境发生了重大变化。无论PWT是否固定，这种情况都需要平台或公司估计新的uf Wts是什么。虽然他们可能对这种变化的性质有一些知识或信念（例如，uf Wts可能遵循某种ARMA过程），他们可以根据这些知识或信念创建期望，但这种性质的变化通常需要进行新的实验来恢复新的参数。5.4注释我们感兴趣的测量对象是等式（8）中给出的ATE。然而，该方程还表明，这些物体是另外两个物体的函数，即加权平均数和uf加权平均数。本节讨论了在实验结束后，如果、如何以及在什么情况下可以成功地将估计的ATE用于决策。虽然方程式（8）中的ATE确实有可能在实验后发生变化，但我们认为，至少在短期内，它们是企业的政策相关对象，原因有两个，一个与构成它们的每个对象相关。首先，在我们考虑PWT改变的背景下，企业在参与广告拍卖时有必要改变其投标政策。

由于这些算法是自动化的，因此即使是根据实验提供的结果，在实验结束后，投标政策也不太可能迅速改变。其次，要改变uf Wts，需要改变用户对广告的行为反应。在不改变广告活动的前提下，这将需要用户行为的内在变化，这在短期内很难证明是合理的。出于这些原因，我们将等式（8）中的ATE作为我们感兴趣的对象。下面概述的评估策略以及上面给出的框架旨在恢复这些对象。6估计我们现在讨论恢复上述ATE的估计值。更具体地说，我们的目标是估计参数τf tA.-f，t如等式（8）所示，这是f公司竞争对手广告政策的异质平均处理效果。在介绍这些估算值之前，我们就估算可行所需的数据说明如下。备注4。估计x t和σt的数据要求。设D（σt）为所有可能的完整治疗分配Dt的集合，给定σt。为了使所有可能的ATE都可行，样本必须包含所有Dt的观察值∈D（σt）。这是一个简单的要求。要使与给定治疗任务相关的ATE可估计，我们必须有收到该特定治疗任务的观察结果。因此，为了评估所有可能的ATE，我们需要对所有可能的治疗分配进行观察。我们假设我们有来自上述实验设计的数据。

特别是，我们假设，对于FIRM f，观察数据为Yi f，Di f，Di，-f、 Ti公司ni=1，其中Ti∈ T表示用户i属于哪个目标受众，n表示观察总数。6.1线性回归τf t的最简单估计量A.-f，t由通常的平均数差异给出。固定Ti=并让Di，-f=d是相当于A的部分治疗分配-f，t.定义τf（d，t）=∑ni=1Di，-f=d，Ti=tDi供参考f∑ni=1Di，-f=d，Ti=tDi f-∑ni=1Di，-f=d，Ti=t(1 - Di f）Yi f∑ni=1Di，-f=d，Ti=t(1 - Di f）。（15） 在标准条件下，τf（d，t）与τf t一致A.-f，t在通常情况下渐近正态√n速率。方程（15）中的估计器对应于Yi fon Di线性回归斜率系数的OLS估计器，该线性回归仅融合观测值，使得Di，-f=d，Ti=t。每个可能的d和t的相应估计量可从以下回归方程i f中获得=∑t型∈T{Ti=T}∑d∈D（σ-f、t）Di，-f=dαf（d，t）+τf（d，t）Di f+ei f（d，t）, （16） 其中Dσ-f，t对应于给定σ的所有可能的部分处理赋值集-f，and ei f是错误项。6.2基于核的估计器上述方法是有效的，但它可能面临一个重要的实际挑战：某些完整处理分配的观测数量可能会受到限制，并阻碍相应估计器的精度。虽然假设1和备注2（i）保证，如果有足够多的人口，备注4将得到满足，但从实验中获得的样本仍然有限，尤其是如果样本数量很大的话。例如，在下面的应用程序中，我们考虑了一个针对一个目标受众和16家不同公司的实验。因此，对于每家公司，有2=32768个不同的状态需要回收。

为了使第6.1节中给出的估计值在每个ATE有100个观测值的情况下可行，这可以说是一个适度的样本量，需要数百万个观测值。这说明了为什么汇集观察结果并使用依赖于平滑的估计器是一种有吸引力的方法，我们将遵循下面的方法。我们使用一种方法，通过核平滑将具有不同治疗任务和属于不同目标受众的观察结果汇集在一起。这种方法背后的直觉是估计τf tA.-f，t它从不同的观察中借用信息-f，t，比如，A-f，t，同时使用原则性方法确定要借用多少信息。它量化了-f、T和A-如果它是低的，它会借用很多信息；否则，借来的信息很少。在该限制条件下，未使用任何信息，估计值崩溃为第6.1节中给出的值。这些差异，以及因此而借用的信息量，都是由控制观察结果汇集的带宽捕获的，我们现在详细讨论了这一点。我们使用Li等人（2013）介绍的估计器，他们使用设计用于平滑分类变量的核函数。据我们所知，这是第一项在析因设计背景下实施该估计器并用于衡量广告治疗效果的研究。现在，我们给出有关此估计量的更多详细信息。考虑agiven Di的回归方程，-fand Ti：Yi f=αfDi，-f、 Ti公司+ τfDi，-f、 Ti公司Di f+ei fDi，-f、 Ti公司= Xi fθfZi f公司+ ei f公司Zi f公司, （17） 其中Xi f=1，Di f, Zi f=hDi，-f、 Tiiandθf（·）=αf（·），τf（·）.设Zi f vbe为向量Zi f的vthcoordinate。

核函数为：lZi f v，zv，λv=1，如果Zi f v=zvλv，否则，（18）其中，zv是Zi f vcan取的值之一，λ是与Zi f v相关的带宽。然后，总内核由以下公式给出：LZi f，z，λ=∏vlZi f v，zv，λv=∏vλ{Zi f v6=zv}v，（19），其中z是收集所有zv的向量，λ是包含所有带宽的向量。估计值为：^θf（d，t）=^θf（z）=nn∑i=1Xi fXi fLZi f，z，λ!-1nn∑i=1Xi fYi fLZi f，z，λ!, （20） 我们使用z=[d，t]。Li等人（2013）建议通过遗漏一项交叉验证计算λ。精确地说，λischosen To minimizeCV（λ）=nn∑i=1hYi f- Xi f^θ-i、 f级Zi f，λi、 （21）式中^θ-i、 f级Zi f，λ按照方程（20）计算，但不使用观测值i，即^θ-i、 f级Zi f，λ=n∑k6=iXk fXk fLZk f，Zi f，λ!-1n∑k6=iXk fYk fLZk f，Zi f，λ!. （22）Li et al.（2013）进一步表明，得出的估计值是一致的且渐近正态的。更值得注意的是，该估计的收敛速度为√n、 它比典型的基于核和机器学习的估计器更快，这是一个很有吸引力的特性。7实验本节描述了我们在第3节中介绍的实验的实现。实现JD第3节中所述的析因设计。com的转换电梯系统（京东，2021）。转换电梯系统是我们设计的一款按需产品，允许广告商在京东的adinventory上进行实验，以评估其广告活动的表现。在将我们概述的统计框架转化为实际运作的系统时，需要处理许多特殊性和细节。方程式（9）中给出的ads等级必须适应用于服务ads的拍卖驱动分配系统。此外，可扩展性要求在实验过程中减少服务ads的延迟，并提高实验数据分析的统计精度。

这些特殊性在大规模广告拍卖环境中很常见，因此这些实现细节本身可能更为普遍。接下来，我们将分别描述它们。7.1拍卖驱动的广告市场与大多数数字广告平台一样，京东上的大量广告库存通过实时竞价（RTB）拍卖进行分配。过程如下。广告商首先成立了campaignson JD。从今以后，我们将参考出版商数字房地产上的一个特定位置，其中的广告可以显示为“广告位置”每个活动都指定了一个目标受众，一组属于这些目标受众的用户可以接触到广告的广告位置，一组与活动相关的创意或创意（即图像），以及一组规定活动投标政策的规则。当用户到达JD上的广告位置时，系统会实时检索一个队列，其中包含有资格向该用户显示其广告的广告商列表。然后，该列表根据专有广告质量分数进行排序，该分数包括多个变量，包括出价。这些广告质量分数生成的排名决定了方程式（5）中的哪些ADI。除了投标书之外，使用此质量分数反映了出版商的愿望，即确保体验减少用户烦恼，并为生态系统中的所有参与者创造长期价值。大多数数字平台上的节目广告都是以这种方式销售的（例如，Narayanan和Kalyanam，2015）。7.2前置移动广告在系统内，本文报告的具体实验与京东应用程序或移动页面上的“前置”广告位置有关。这些广告位于应用程序或移动主页的顶部。图4的面板（a）显示了该应用程序的屏幕截图。

有8个正面聚焦广告位置，每个位置可以在上部矩形中显示不同的广告。Auser一次只能看到一个正面聚焦广告。图4：京东应用程序上的前置广告位置（a）前置广告（绿色方框内）（b）登录页（点击广告到达）当用户到达京东应用程序或移动主页时，他们会收到第一条广告。几秒钟后，横幅会自动旋转到下一个广告。用户也可以通过滑动手动旋转广告。一旦用户点击广告，应用程序就会引导他们进入“登录页”，其中会显示更多信息，包括特色产品的放大图像、促销优惠券和相关产品的集合。图4的面板（b）显示了一个示例。如果用户单击登录页上的某个产品，他们将进入ata产品详细信息页面，该页面包含有关该产品的详细信息，包括价格、优惠券和评论。然后，他们可以将产品添加到购物车中并进行购买。7.3广告服务机制背后的细节广告主之所以重视前沿广告位置，是因为其突出性和大量曝光，并将其视为优质广告库存。他们还可以推动对产品详细信息页面的访问，这反过来又是转换的关键。面向前沿的广告拍卖具有与我们现在讨论的工程实验相关的特定特征。首先，在为此类库存设置活动时，广告商需要指定适用于所有用户的基础级出价，然后选择可能适用溢价出价的特定目标受众。这意味着没有明确排除任何用户；所有排除和包含均由广告商指定的投标引起。广告商也不能指定一个特定的正面广告位置进行竞价。

他们只能指定他们希望在任何可用的正面聚焦广告位置显示广告。当用户到达时，以该用户为目标的广告商将参与RTB拍卖，以竞争在可用的前端聚焦广告位置显示其广告。一些职位可能因合同协议而无法获得。在此过程中，将为每个广告位置独立生成拍卖队列。根据技术规范，这些队列可以相等也可以不同。队列排名基于上述质量分数。用户体验控制系统进一步过滤排名队列。该系统试图避免在给定的印象机会下，同一广告商在不同的以正面为焦点的广告位置重复广告。额外的用户体验控制，如步调，也纳入了广告服务规则。一旦队列清除了该系统的过滤器，相应广告位置的排名靠前的广告就会得到服务。这就是生成第3节排名的过程。提供的广告与是否实际看到该广告之间有区别。服务是指将广告从服务器发送到用户应用程序的过程。为了减少延迟，所有八个位置的广告都会一次性提供给用户。在某个广告位置看到所服务的广告之前，用户可能会选择不看或离开应用程序的前焦点空间。因此，与所送达广告的“合规性”是用户的决定，这将影响下文讨论的ATE的解释。一般来说，索引越低的广告位置越容易被用户看到，因为它们显示得越早。这整个机制的复杂性的一个含义是，要获得与广告相关的反事实并非易事。

如果广告商选择不向auser显示其广告，则排名队列中的下一个广告将根据此用户体验控制系统过滤器提供。由于只有平台可以实时检索，因此只有平台可以使用我们描述的精确构造的反事实来运行此实验。这就是开发“实验即服务”产品的动机挑战是在这个复杂系统的背景下设计实验。7.4设计实验设计本实验需要制定一种随机化策略，一种适应广告服务机制的方法，以便在实验中为用户提供正确的事实和反事实广告，以及一种记录通过本实验获得的数据的方法。我们现在讨论每个组件。7.4.1随机化在实验开始时，工程系统首先检索实验中的所有广告客户，并为每个广告客户分配活动索引。然后，它使用hashMD5准随机化方法（Rivest，1992）为每个用户i和广告客户f分配一个常见的随机化种子：Di f=散列分割（用户id、活动索引、种子），其中Di f是用户i对广告客户f的治疗分配。这种方法有效地存储了一致的随机化方法，而不是对每个用户i的总分配向量进行排序，并且有助于减少在线系统中的延迟。否则，它将不得不存储数百亿份治疗任务，并给在线广告服务系统带来沉重的成本。

哈希方法仅将用户id、活动索引和种子作为独立的，因此，用户被独立地分配到广告商的治疗组或控制组，因此假设1成立。7.4.2服务adsAt广告服务时间，每个广告印象机会的队列如上所述生成，并通过拍卖和用户体验控制系统。为了在系统中进行实验，我们首先从导入队列中删除所有f，使Di f=0。这确保了用户i只有在Di f=1时才有资格看到f的广告，否则就没有资格看到f的广告。排名队列中剩余的广告将再次通过用户体验控制系统，并将排名靠前的广告提供给用户。通过这种方式，我们将广告位置分配给最符合条件的广告，这对平台来说是经济有效的，同时确保在实验进行过程中用户体验不会降低。图5显示了一个示例来说明此系统。我们关注的是一个以正面广告为主的位置，以及只有三个广告商的情况。广告商1和2正在进行平行实验，广告商3则没有。用户i被独立分配给治疗组和对照组1和2，这决定了他们的完整治疗分配Di。在该用户的拍卖中，可能的广告是广告1、广告2和广告3。图5说明了在每个可能的全面治疗任务下，将提供哪些ad。例如，在拍卖队列的第一列，广告1位于顶部，其次是广告2，最后是广告3。如果用户在广告客户1的治疗组中，则无论他们是在广告客户2的治疗组还是对照组中，他们都将得到1号服务。如果用户在广告客户1的对照组中，但在广告客户2的治疗组中，他们将被视为广告2，这将是拍卖特定的反事实广告。

最后，如果用户处于1\'s和2\'s对照组，他们将接受广告3.7.4.3多次广告曝光。实验可以持续数天，并且涉及多个正面聚焦广告位置。在实验过程中，用户可以多次访问京东的app。因此，工程系统需要处理用户参与多个拍卖的情况。设计的关键是，在整个实验过程中，将用户分配到治疗组或对照组的任务是一致的，这是由提交的哈希拆分来保证的。图6显示了这在工程系统中的工作方式。用户i在实验期间参与拍卖，根据上述系统，在每次拍卖中，他们有资格或没有资格根据其分配状态观看广告。结果变量是指他们在实验过程中的累积行为。7.4.4反事实政策记录和解释数字广告的影响可能很小，可能需要精确估计数十万用户的数据。为了提高精确度，作为engineeredsystem的一部分，我们在丢弃控制广告之前记录拍卖队列，如果没有任何公司进行实验，则表示counterfact广告队列。在这个反事实场景中，记录队列上的顶部广告将提供给用户，因此我们将其称为“拍卖特定反事实广告”。对于每次拍卖，我们还记录实际提供给用户的广告。我们称之为“拍卖特定事实广告”。在统计分析中，我们只考虑在至少一次拍卖中，事实上或相反事实上获得焦点实验广告的用户。

这确保了我们对治疗组中最有可能实际接受焦点广告服务的一组用户和对照组中最有可能反向接受焦点广告服务的一组等效用户进行分析。通过从分析中删除低倾向接受焦点广告服务的用户，我们提高了精确度。与对照组相比，我们测量的ATE反映了分配给治疗组的效果。分配给治疗组意味着用户有资格获得焦点广告客户的ADS，而分配给控制组意味着他们没有资格。因此，我们衡量的效果应该被解释为，为了将焦点广告商的广告视为发布者将在其平台上为广告商的广告提供服务的用户的子群体，我们的意图是处理这种效果。与第3节中给出的设置相关，我们将重点放在子种群上，因此备注1（ii）适用于严格的不等式。8数据我们现在描述我们从实施实验中获得的数据。我们首先介绍了一系列随机化检查，以确认实验成功实施。我们的数据最初对应于2018年9月为期三天的27个活动的前沿广告平行实验。在这个实验中，70%的用户被独立地分配到每个活动的治疗组，剩下的正如我们在第3节中提到的，没有用户被明确排除在观看前置广告之外，因此所有活动都面向相同的目标受众；因此，在本分析中，我们忽略了处理多个目标受众的问题。30%分配给每个活动的控制组。在27个活动中，我们只保留了至少有200000实验用户的16个活动。

我们通过搜索、其他广告和有机推荐跟踪用户访问产品详细信息页面的情况。广告商重视对产品详细信息页面的访问，因为这是实际转换的前提，而前置广告的一个明确作用就是推动此类访问。它们也是向广告商报告的一个关键结果指标，作为竞选绩效报告的一部分。因此，这是一个重要的指标，可以在下面的分析中分析并形成我们的依赖变量。8.1整个活动的重叠sour样本包括大约2200万用户，他们至少接触了16个实验性广告活动中的一个。我们说，如果没有实验，一个人本可以得到广告，那么他就“暴露”在竞选活动中。在我们的样本中，大约27%的用户接触了16个活动中的一个以上。表1显示了暴露在用户中的分布。表1：不同活动的用户重叠#暴露于#的活动#的用户%样本1 15830998 72.862 4629025 21.313 1040805 4.794 193192 0.895 29007 0.136或更多3854 0.02同样暴露于其他活动的活动的实验用户的百分比会影响他们之间竞争干扰的可能性。表2显示，中间活动中有50%的用户也至少接触过一次其他活动。

它进一步表明，大量的重叠可能是由于单个竞争活动造成的。表2：跨活动的用户重叠广告数量%暴露的用户数%暴露给至少一个其他用户的活动重叠度最高的用户数1 74%53%2 38%10%3 50%18%4 46%11%5 52%12%6 37%13%7 43%11%8 45%20%9 51%17%10 59%19%11%11%12 50%14%13 58%22%14 49%21%15 52%21%16 60%27%活动的“主要竞争对手”下面的部分分析仅关注focalcampaign，我们用f表示，以及它的主要竞争对手，我们用g.8.2随机化检查表示。在展示实证结果之前，我们验证了实验的正确实施。我们首先评估分配给每个活动治疗组的用户比例是否符合预期，即70%。为此，我们通过样本平均值和与分数是否等于0.70的假设测试相关的p值来计算这些分数。如果这个无效假设是正确的，这些p值交叉活动应该与标准均匀分布的抽奖相对应。Wet使用KolmogorovSmirnov（KS）测试其分布是否符合标准制服，并将结果显示在图7中。与KSP相关的p值指出，这种重叠只是其他公司与重点公司f最接近的竞争对手的粗略衡量。

例如，对于所有重叠用户而言，a公司g可能不是f的相关竞争对手，g的存在影响f的范围可能取决于另一家公司，h检验为0.986，表明实验中获得的分数符合预期。图7：治疗组0中部分用户p值的KS测试。2.4.6.8 10 .2.4.6.8 1p值均匀分布注：该图显示了16个p值的分位数图，使用对异方差稳健的标准误差计算，与每个运动治疗组中的用户分数相关。对于这些p值是否来自标准均匀分布，KS检验的p值为0.986。现在，我们继续调查实验前用户行为的可能差异，作为他们是否属于每个活动的治疗组和对照组的函数。如果随机化正确实施，各组之间不应存在显著差异。为了验证是否存在这种情况，对于每个活动，我们在治疗分配指标实验开始前的三天内，对购物车的添加次数、订单数量、产品详细信息页面的访问次数以及总销售价值（GMV）进行回归，这是一种金钱支出的度量。

回归系数以及对异方差稳健的标准误差如表3所示。在64个系数中，54个系数在正常水平上没有统计学意义。表3：试验前三天治疗回归系数-购物车GMV添加量-订单量-就诊量-购物车GMV添加量-订单量-就诊量-1-0.0108-0.1035 0.0008-0.0121 9 0.0003 0.1096 0.0001-0.0030（n=128576）（0.0073）（0.3025）（0.0014）（0.0180）（n=539，702）（0.0007）（0.2891）（0.0001）（0.0080）2 0.0002-0.0007 0.0002 0.0001 100.0025 0.6120 0.0001 0.0226（n=535343）（0.0004）（0.0046）（0.0001）（0.0012）（n=66824）（0.0014）*（0.4016）（0.0001）（0.0209）3 0.0094 0.3232 0.0021 0.0144 11 0.0007-0.0118 0.0004 0.0041（n=12809）（0.0059）（0.2576）（0.0036）（0.0349）（n=130071）（0.0009）（0.0254）（0.0007）（0.0046）4 0.0001 0.0010 0.0001 0.0128 12-0.0047-0.5814 0.0009-0.0099（n=14846）（0.0001）（0.0010）（0.0001）（0.0071）*（n=14806）（0.0137）（0.9264）（0.0052）（0.0855）5-0.0006-0.0777-0.0003 0.0024 13 0.0059 1.9995 0.0005 0.0357（n=179516）（0.0012）（0.1393）（0.0006）（0.0052）（n=111，307）（0.0034）*（1.6644）（0.0004）（0.0856）6 0.0013 0.0131 0.0009 0.0028 14 39 0.3669 0.0032 0.0459（n=184689）（0.0006）**（0.0069）*（0.0004）**（0.0015）*（n=20907）（0.0137）*（0.4281）（0.0043）（0.0660）7 0.0003-0.1681-0.0001 0.0026 15 0.0168 1.4439 0.1330-0.0294（n=302471）（0.0005）（0.3101）（0.0002）（0.0071）（n=66984）（0.0104）（0.6600）**（0.0663）***（0.0270）8-0.0068-0.1054-0.0001-0.0804 16-0.0001 0.0025 0.0002 0.0004（n=131743）（0.0044）（2.0914）（0.0003）（0.0564）（n=339018）（0.0003）（0.0018）（0.0001）（0.0008）注：每个单元格包含与治疗相关的系数线性回归的指标。观察单位是用户。

因变量是实验前三天的事件。括号中显示了对异方差稳健的标准误差。***p<0.01，**p<0.05，*p<0.1为了说明多重测试，我们估计每个活动的SUR模型，收集与测试相关的p值，以确定所有系数是否等于零，并使用KS测试测试它们是否对应于标准均匀分布得出的结果。结果如图8所示。与KS检验相关的p值为0.173，因此我们不能拒绝零假设，即p值遵循通常显著水平的标准均匀分布。我们仅获得15个p值，因为与活动4的SUR估计相关的方差矩阵不可逆。图8：通过测试各治疗组的平均实验前行为是否相等，对p值进行KS测试0。2.4.6.8 10 .2.4.6.8 1p值均匀分布注：图中显示了16个p值的分位数图。aKolmogorov-Smirnov检验的p值是否来自于auniform分布。注：图表显示了15个p值的分位数图。对于这些p值是否从标准均匀分布中提取，KS检验的p值为0.173。最后，我们评估假设1是否成立，即用户是否确实在整个活动中独立分配给治疗组。为此，对于每个活动，我们在表2中确定的用户是否属于其主要竞争对手的治疗组指标上，对用户是否属于其治疗组的指标进行回归。然后，我们收集所有16个p值，根据对异方差稳健的标准误差计算，并进行KS检验，以确定它们是否遵循标准均匀分布，如果治疗分配不相关，则应如此。

结果如图9所示。与该KS测试相关的p值为0.428，表明假设1已得到满足。图9：通过测试治疗分配和跨实验活动之间的相关性，对p值进行KS测试0。2.4.6.8 10 .2.4.6.8 1p值均匀分布注：该图显示了16个p值的分位数图，使用对异方差稳健的标准误差进行计算，并通过线性回归确定用户是否属于活动的主要竞争对手的治疗组，其中该指标为回归因子，主要活动的治疗指标为因变量。对于是否从标准均匀分布中提取这些p值，KS测试的p值为0.428.9结果本节介绍了上述实验的结果和数据。我们首先显示从实验研究中典型方法获得的基线结果，即通过治疗指标结果的线性回归计算出治疗组和对照组之间的简单均值差异。从今以后，我们将此称为无条件ATE的均值估计差异。这些对应于项ξf t（σ）的估计值-f，t），如方程式（12）所示，用于16个活动中的每个活动。然后，我们评估竞争干扰效应的存在，并找到此类效应的证据。接下来，我们利用第6.2节给出的基于核的估计器的结果来剖析这种干扰导致的ATE中的异质性，并概述对广告者决策的影响。9.1基线结果表4显示了16次活动中每一次无条件ATE的均值估计差异。我们只使用在没有实验的情况下会暴露于重点战役f及其主要竞争对手g的观察结果。

我们选择该样本是为了与我们在调查竞争干扰效应的存在时发现的结果具有可比性。表4：基线结果Campaign治疗常量运动治疗常量1 0.0293 0.1015 9 0.0286 0.1212（n=128576）（0.0093）***（0.0078）***（n=677576）（0.0079）***（0.0066）***（0.0066）***2-0.0018 0.0268 10 0.0297 0.1463（n=535426）（0.0031）（0.0036）***（n=68454）（0.0251）（0.0233）***3 0.0436 0.0473 11 0.0187 0.0177（n=24109）（0.0127）***（0.0080）***（n=161701）（0.0030）***（0.0020）***4-0.0036 0.0141 12-0.4537 1.6134（n=27883）（0.0087）（0.0085）*（n=17347）（0.4060）（0.4027）***5 0.0090 0 0.0395 13 0.0284 1.4218（n=231047）（0.0044）**（0.0038）***（n=150471）（0.0671）（0.0558）***6 0.0004 0.0046 14-0.0344 0.8920（n=393256）（0.0009）（0.0009）.0007）***（n=29849）（0.0720）（0.0650）***7 0.0120 0.0582 15 0.0555 0.4518（n=449963）（0.0063）*（0.0056）***（n=77525）（0.0228）**（0.0324）***8 0.0056 0.1973 16 0.0004 0.0019（n=677576）（0.0106）（0.0090）***（n=339019）（0.0007）（0.0005）***注：观察单位为用户。因变量是实验期间访问SKU详细信息页面的次数。括号之间显示对异方差稳健的标准误差。***p<0.01，**p<0.05，*p<0.1在16个估计值中，7个ATE在正常水平上具有统计学意义。各效应之间存在实质性差异：在显著效应中，其范围为8.73%（活动15）至98.95%（活动11），平均为36.40%。最后，为了说明16个活动中的多重测试，我们估计了一个SUR模型，并对所有ATE是否都等于零进行了联合测试。我们得到的p值低于0.00001，这表明我们可以拒绝这个假设。

总的来说，这确立了前焦点广告对多个活动的访问具有可测量的治疗效果。9.2评估竞争性干扰效应的存在我们现在评估竞争性干扰效应的存在。为了便于解释，我们首先分析每个活动的效果如何随主要竞争对手的存在而变化，如表2所示。请注意，这只是第一次切割。为了更全面地评估竞争性干扰，我们需要评估在整个2F中每个竞争对手的影响如何变化-1=2=32768种可能的情况，取决于每个竞争对手的存在。如第9.4节所述，几个竞争对手可能会干扰某个广告客户的活动，因此需要进行全面分析，以揭示竞争的全貌。为了进行第一次切割分析，我们估计了以下回归：Yi f=αf+βfDi f+γfDig+δfDi fDig+Ciψf+ei f，（23）其中g是上述公司f的主要竞争对手。向量中包含的变量是表3中实验前三天的结果。这些变量独立于治疗任务，我们将其包括在内以提高估计量的精度。我们可以通过评估参数δ的重要性来检测竞争性干扰是否会改变焦点公司的ATE。

表5显示了所有活动的估计值。表5：方程式（23）得出的结果活动αβγδ活动αβγδ1 0.0796 0.0516 0.0314-0.0319 9 0.1099 0.0427 0.0162-0.0202（n=128576）（0.0114）***（0.0146）***（0.0151）***（0.0188）*（n=677576）（0.0099）***（0.0130）***（0.0128）（0.0163）2 0.0337-0.0124-0.0100.0153 10 0.1301 0.041 58 0.0233-0.0231（n=535426）（0.0055）***（0.0053）***（0.0058）*（0.0065）***（n=68454）（0.0351）***（0.0426）（0.0414）（0.0526）3 0.0325 0.0938 0.0212-0.0718 11 0.0206 0.0151-0.0042 0.0052（n=24109）（0.0131）***（0.0267）***（0.0167）（0.0298）***（n=161701）（0.0043）***（0.0062）***（0.0049）（0.0070）4 0.0380-0.0268-0.0344 0.0334 12 1.1854-0.0671 0.6131 86-0.5597（n=27883）（0.0278）（0.0280）（0.0278）（0.0281）（n=17347）（0.1591）***（0.1802）（0.5946）（0.6085）5 0.0487-0.0041-0.01320.0187 13 1.4252-0.0428-0.0049 0.1018（n=231047）（0.0095）***（0.0104）（0.0103）（0.0113）*（n=150471）（0.0928）***（0.1060）（0.1151）（0.1353）6 0.0043-0.0002 0.0005 0.0008 14 0.8806-0.0470 0.0163 0.0181（n=393256）（0.0011）***（0.0014）（0.0018）（n=29849）（0.0865）***（0.1037）（0.1197）（0.1392）7 0.0518 0.0270 0.0092-0.0215 0.4539 0.0438-0.0030 0 0.0168（n=449963）（0.0080）***（0.0106）**（0.0102）（0.0130）**（n=77525）（0.0413）**（0.0354）（0.0351）（0.0435）8 0.1901 0.0268 0.0102-0.0303 16 0.0011 0.0022 0.0012-0.0026（n=677576）（0.0161）**（0.0184）（0.0191）（0.0226）（n=339019）（0.0006）*（0.0013）*（0.0010）（0.0015）*注：观察单位为用户。因变量是实验期间访问SKU详细信息页面的次数。括号中显示了对异方差稳健的标准误差。***p<0.01，**p<0.05，*p<0.1统计显著性在16个相互作用系数δf中，6个在通常的一个水平上具有统计显著性。

为了防止多重测试，我们估计了一个SUR模型，并对所有δF是否在用户级别（2632499个用户）进行了联合测试。我们得到了一个p值=0.0192，这表明存在竞争干扰效应。经济意义为了评估干扰的经济意义，我们计算了各个活动中|δf | |βf |的平均值。在所有16项活动中，这一比率为0.6226，在具有统计显著性βf的活动中，这一比率为0.6733。这表明，干扰相当于一场运动主要效果的很大一部分。从这些结果中可以看出，在这个市场中，竞争性干扰可以实质性地改变焦点活动广告的效果，而竞争性的改变可以实质性地改变广告的相关处理效果。9.3评估竞争干扰效应的来源下一步是解开这些效应的来源，这可以帮助我们理解竞争在推动我们发现的相互作用中的作用。我们将特别关注上述两种影响，即分配变化和外部性。为了测试是否存在分配变化，我们评估focaladvertiser主要竞争对手的存在是否会影响focaladvertiser显示其广告的概率。更准确地说，我们关注的是向属于focal advertiser治疗组的用户显示广告的拍卖，因此，重点广告商始终能够真实地展示他们的广告。然后，我们将此组分为两个，一个是用户属于主要竞争对手的治疗组，以便他们可以看到主要竞争对手的广告，另一个是用户属于主要竞争对手的控制组。