在竞争激烈的广告市场中进行平行试验

2022-6-14 08:57:11

广告平台上的平行实验*Caio Waisman Navdeep S.Sahni Harikesh S.Nair Xiliang LinThis draft:2022年5月31日摘要本文研究了平行实验发生时，即多个广告商同时进行实验时，在线平台上广告效果的测量。它提供了一个框架，可以精确地说明平行实验是如何影响这一衡量问题的：虽然忽略平行实验会产生对现有广告平均效果的估计，但在广告竞争的环境中，这种估计的价值有限；此外，考虑到平行实验提供了一组更丰富的广告效果，可以捕捉到广告商因竞争而面临的真实不确定性。然后，它提供了一个实验设计，可以产生数据，让广告商评估这些影响，并在京东上实现这个设计。com，一个大型电子商务平台，也是数字广告的发布者。使用传统的和基于核的估计器，它得到的结果从经验上说明了这些影响是如何对广告商的决策产生重大影响的。最后，它表明竞争干扰可以通过简单的指标进行总结，以帮助决策。关键词：实验、A/B/n测试、因果推理、数字广告、电子商务、平台*这篇文章之前的标题是“在竞争激烈的广告市场中进行平行实验”Lin、Nair和Waisman是JD的一部分。这项研究开始的时候。视图显示的是作者的视图，而不是JD的视图。通用域名格式。数据、机构背景和实施的某些方面被掩盖，以解决业务一致性问题。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:14

我们感谢王丽晶的研究协助，感谢郝军、林杰克、吴磊和严保罗在项目期间的支持、合作和协作。感谢Carlos Carrion、Dean Eckles、Günter Hitsch、Carl Mela、Duncan Simester、Stefan Wager；参加亚马逊、Carlson UMinn、Facebook、Fuqua Duke、Haas Berkeley、Kellogg Northwestern、Kenan Flagan UNC、Tepper CMU以及2020年联合统计会议、营销科学、虚拟定量营销研讨会和2019年选择研讨会，以获得深思熟虑的评论和建议。请联系caio的作者。waisman@kellogg.northwestern.edu（怀斯曼），纳夫迪普。sahni@stanford.edu（萨赫尼），哈里克斯。nair@stanford.edu（奈尔）或xilianglin@gmail.com（Lin）用于通信。早期版本：2019年3月26日、5月28日。1简介实验是数字时代的一个背景。现代科技公司每天都会在其数字平台上进行数百项或更多的随机对照试验，以衡量广告等各种干预措施的效果，并制定商业战略。现在，一些数字平台向其参与的客户提供“实验即服务”，平台代表企业进行实验，并通过代理促进测量。例如，Adobe的目标A/B测试、谷歌和Facebook的网页优化、广告转换提升和品牌提升。平台上的实验激增，造成了竞争企业同时进行实验的普遍情况。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:17

令人惊讶的是，虽然有关测量数字干预效果的实验文献如雨后春笋般涌现（例如，seeGordon等人，2021），但竞争企业为测量企业在广告等平台上的干预而进行的多重重叠实验的影响却受到了非常有限的关注。遵循的典型方法是将用户独立随机分为多个实验，并分别评估每个实验的效果，忽略了正在进行多个实验的事实（Kohavi et al.，2009）。隐含地，这种方法假设交叉实验的交互作用不会发生，或者，如果发生，任何此类交互作用对因果测量的定量结果都是有限的。因此，在数字广告实验的背景下，广告竞争对此类实验的影响并不是文学界关注的焦点。然而，忽视这种方式的互动与我们认为广告在市场上的运作方式是不一致的，比如竞争平台。从根本上讲，企业广告的效果取决于竞争对手的行为。这种竞争性互动的可能性早已在营销文献中得到承认。这类工作的例子跨越了五年，包括Clarke（1973）、Keller（1987）和Burke and Srull（1988），以及最近的Anderson and Simester（2013）、Sahni（2016）、Simonov et al.（2018）和Simonov and Hill（2021）引用了一个非详尽的列表。在任何时候，企业广告的有效性可能会增加或减少，这取决于其竞争对手也在做广告。例如，查看亚马逊的广告可能会降低消费者想到沃尔玛并在沃尔玛购物的可能性。通用域名格式。在这种情况下，阿纳德提醒消费者沃尔玛。亚马逊广告发布后，com可能会变得更加有效。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:20

另一方面，如果Groupon的广告提供了无与伦比的折扣，其存在可能会妨碍沃尔玛的广告发挥作用。因此，一家企业的广告效果评估经验取决于实验期间哪些竞争对手在做广告。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:25

根据这一基本原理，这些发现还取决于哪些竞争对手同时进行了自己的广告效果实验。鉴于在广告实验中对广告竞争的处理有限，沿着这些思路的一些非常基本的问题仍然没有得到很好的理解，包括：o在竞争企业并行实验的平台上，可能发生的竞争性交互的性质是什么，以便许多用户同时参与多个实验？在现代现实市场中，这种互动的数量意义是什么忽视此类平行实验对干预效果的因果推断有什么后果？什么因果估计是通过简单的均值差异估计器来衡量的，该估计器忽略了平行实验，并将企业广告的平均治疗效果（此后ATE）估计为其测试组和对照组的均值差异？该估算是否可解释且与政策相关在竞争互动显著的环境中，可以确定哪些内部一致的因果估计？实验可以恢复哪些估计？什么样的实验设计和估计员能够持续准确地恢复这些估计值？如何在现代平台上实际实施这些估计值到实验结束后阶段的可移植性如何，竞争企业必须根据从实验中学到的知识来决定自己的实践能力对这些问题的认识（或缺乏认识）如何影响企业的决策，如何实际利用这些问题进行现实决策？本文的目标是直接解决这些开放性问题。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2022-6-14 08:57:28

我们这样做的重点是通过竞争企业进行平行实验，以衡量广告对数字出版商的影响。论文中的一个妙语是，当竞争是为了稀缺资源，例如数字出版商的广告位时，平行实验可以显著影响利益干预的衡量；在这种情况下，衡量广告的效果。因此，了解它如何影响我们想要衡量的效果；准确确定所需的因果估计；开发有效的实验设计和估计器，能够在实际市场中一致、准确地测量这些估计值；而了解如何在实验后利用它们来促进实际决策将成为关键。本文概述了这些问题的解决方案；在大型广告平台上实现；并使用我们在该平台上实现的大规模实验的数据以经验的方式说明了这些问题。贡献本文有七个主要贡献，我们将按顺序进行讨论。首先，我们证明平行实验可以充当一把双刃剑。一方面，考虑到平行实验，可以根据焦点公司竞争对手的存在来估计广告的丰富效果，这有助于未来的决策，例如该焦点公司是否应该首先进行广告宣传。由于广告平台是唯一能够解释竞争对手在实验过程中行为的一方，这突出了他们作为企业相关信息提供者的重要性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:31

另一方面，通常在评估广告效果时忽略平行实验会导致评估对象的可解释性非常有限，对决策几乎没有用处。我们正式地展示了这一点，并提出了一组新的因果估计，在存在竞争互动的情况下具有精确的解释性。其次，我们概述了一个正式的框架，该框架明确推导了焦点公司的广告效果及其对竞争对手广告政策的依赖性。在此框架下，我们可以显示竞争干扰效应的来源，我们称之为分配变化和外部性。分配变化指的是，由于广告时段竞争的变化，竞争对手的存在可能会潜在地改变焦点公司的广告是否显示。分配的更改自然会影响ATE估计值，因为广告仅在显示时才会影响用户。外部性是由于竞争对手广告的存在而导致的焦点企业从广告中获得的回报的差异。在我们的实证应用中，我们调查了分配变化和外部性的存在。广告平台的竞争力越强，这些影响就越可能显现出来。例如，在一个竞争性更强的平台上，竞争性的实验活动可能更容易发生。第三，我们概述了一个实验设计，以调查竞争性干扰。这是一个全因子设计，其中每个因子都是一个企业是否在做广告的指标。我们证明，遵循此设计的实验产生的数据可以恢复企业相对于竞争对手存在的异质广告效果。这表明我们提出的因果估计是确定的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-14 08:57:34

我们还表明，这些估计值可以转移到实验结束后的阶段，企业需要根据在实验阶段学到的知识做出决策。当实验结束时，跨企业互动的性质发生了改变，我们表明，没有明确纳入变化互动影响的典型估计是不可移植的。第四，我们提出了两个可以完成这项任务的估计量。第一种是对每个因子组合分别进行的均值差估计，可以从简单的线性回归中获得。然而，该估计量与因子组合的数量不具有很好的比例关系。在我们的实证应用中，我们考虑了对16家企业的一项实验，得出了2=65536个这样的组合，这意味着对于每个企业，我们需要评估每个活动的影响在2=32768个可能的场景中如何变化，这取决于每个竞争对手的存在。这激发了我们的第二个估计器，它依赖于非参数计量经济学的最新进展来汇集来自不同组合的观测数据，并在它们之间借用信息，而不是孤立地处理每个组合。我们表明，这种估计即使在高维情况下也是有效的，并且与之相关的带宽具有可解释性的诱人优势：它们识别出最强烈推动竞争干扰的竞争对手。据我们所知，这是首次将这种非参数估计应用于全析因设计和跨竞争州的合并，这可能是独立的利益。第五，我们展示了如何利用焦点企业对其竞争对手存在的广告效果的因果估计来进行决策。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-14 08:57:37

我们提出了一个简单的决策理论问题，其中企业唯一的决策是是否做广告，它只知道自己的广告效果，而不知道竞争对手的广告效果以及他们是否会出现。这个问题的解决方案可以直接从我们可以恢复的因果估计中获得。然而实现此解决方案的一个挑战是，此类估计的数量可能很高（例如，在我们看来，一个实验性活动展示其广告的能力，推动了分配的变化。在一个更具竞争力的平台上，一个竞争性的实验性活动的广告也更有可能展示给一个实验性活动的控制组中的用户，推动外部性。经验练习每个企业都有30000多个这样的估计）。这表明，企业可能必须非常复杂，才能实施我们获得的解决方案。因此，我们建议使用一种更简单的启发式方法，该方法在我们的环境中表现良好，并且只依赖于通过对不同估计值进行积分而获得的单个对象，可以在计算复杂度有限的更实际的环境中使用。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:41

通过限制需要报告的有关竞争对手影响的信息量，这种启发式方法也有利于平台，因为平台可能会面临限制，无法向企业披露有关其竞争对手活动的信息。第六，我们将这些方面纳入我们帮助京东构建的广告实验平台。com，一家电子商务公司，也是中国一家大型广告发布商。我们展示了如何将实验设计设计融入拍卖驱动的市场，以及如何通过平台恢复我们概述的相关因果估计。这对于那些对如何将本文讨论的经济计量问题转化为实际解决方案和基础设施感兴趣的研究人员和企业来说可能很有用。最后，我们展示了我们在这个平台上进行的大规模现场实验的数据，这些实验涉及企业寻求衡量电子商务广告效果的平行实验。现场实验使我们能够评估可能的竞争干扰的强度，并使用真实平台的真实数据评估我们提出的估计器和决策规则的性能。这可以作为该框架的实证说明。实证应用和结果现场实验涉及16个实验性广告活动，于2018年9月在JD上进行为期三天的平行实验。通用域名格式。这些实验包括大约2200万用户。我们对实验数据的分析表明，广告对几个广告活动的广告客户结果有相当大的影响。在整个实验活动中，我们发现竞争性互动占62%-67%的广告主效应，表明它可以实质性地改变焦点活动广告的效果，并且在数量上是显著的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:44

通过分析这些互动的来源，我们发现了分配变化和外部性都存在的证据，这表明这两种渠道在这个市场上都是相关的。通过对焦点活动实施非参数估计，我们发现它可以精确地恢复治疗效果（32768个竞争性治疗效果中的35%在5%的水平上具有统计显著性）。涵盖的治疗效果显示出显著的离散性（标准偏差约为平均治疗效果的77%），表明广告效果可能会受到竞争对手存在或不存在的实质性影响。ATE分布的分散性分析与评估我们所说的“环境不确定性”的重要性相关：它反映了企业对其竞争对手将进行广告宣传的不确定性。由于估计ATE有助于企业决策，因此ATE之间的高度分散表明考虑环境不确定性很重要。典型的做法是忽略这种分散。为了评估这一典型实践对决策的影响，我们计算了Usalestimator，该估计器通过独立计算测试用户和控制用户之间的平均值差异来衡量广告效果。我们评估了环境不确定性在多大程度上被无条件ATE估计的统计不确定性所捕获，如95%置信区间所示。我们发现，相对于可能的ATE全范围，该置信区间涵盖的ATE范围较小，仅覆盖全范围的7%左右。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:47

总的来说，这表明，即使决策考虑了无条件ATE的统计不确定性，但由于忽略了环境不确定性的很大一部分，它的表现仍然很差。为了调查对决策的影响，我们考虑了一个简单的场景，在该场景中，企业仅决定是否在平台上做广告，为此，它使用平台通过平行实验报告的广告效果估计。我们考虑了三个简单的政策，企业可以使用这些政策来指导这一决策，这些政策使用的信息比ATE的整个分布更加有限。第一项政策（“默认ATE政策”）包括固定广告，前提是从典型的平均数差异估计器获得的无条件ATE高于广告成本。第二项政策（“综合ATE政策”）是平台评估所有竞争性待遇影响的政策，但仅向每个公司报告其平均值。最后，我们考虑的最后一个政策是，平台向企业报告，企业从实验中估计的ATE超过广告成本的可能性，然后企业根据此分布随机广告（“随机ATE政策”）。默认的ATE和随机化的ATE策略是启发式的，而集成的ATE策略可以由贝叶斯统计决策理论问题驱动。从经验上看，我们发现，在我们考虑的绝大多数情况下，综合ATE政策严格控制默认ATE政策，并进一步控制随机ATE政策。总的来说，我们从这些结果中得出了两个结论。首先，依赖天真无条件的ATE，忽视竞争互动，可能会导致许多错误和实验企业决策失误。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:50

其次，对简单政策的评估有助于实际决策。他们指出，从非参数估计器获得的信息可以总结为一个简单易懂的量（即综合ATE），当通过平台计算并报告给实验企业时，可以使企业做出更好的决策。这可能是平台实现其实验报告和推荐框架中开发的理论框架的一种实用方法。论文的其余部分如下。我们首先讨论它与现存文献的关系。第二部分给出了一个简单的示例，概述了我们的框架、我们感兴趣的恢复对象、我们建议的实验设计以及我们考虑的决策理论问题。第3节包含常规设置中的这些功能。第4节给出了正式的识别结果，第五节讨论了从实验中获得的估计值到实验后设置的可移植性。第6节提供了两个估计量来恢复我们感兴趣的对象。第7节详细解释了我们是如何在JD上实现我们的实验的。通用域名格式。第8节描述了我们从实验中获得的数据，第9节介绍了我们的主要结果。最后，第10节结束。1.1相关文献本论文涉及实验、因果推理和数字广告的若干子文献。我们现在更详细地讨论这些关系。我们感兴趣的环境是在竞争性互动的环境中进行实验。因此，我们的工作涉及到最近研究网络外部性在从实验中学习中的影响的工作，以及关于测量本地实验干预的全球影响的想法，例如Heckmanet al。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-6-14 08:57:53

（2000），Acemoglu（2010），Muralidharan和Niehaus（2017），Munro等人（2021），andWager和Xu（2021）。本文讨论了一个与本文献在概念上不同的问题。广义地说，这篇文献解决了从小规模本地实验中获得的效应推断到全球（市场或平台）水平效应的令人烦恼的问题。在全球层面实施的干预措施的效果可能不同于从当地实验中获得的效果，因为它们反映了对干预措施的最佳平衡反应。例如，当地实验研究的小规模干预措施，如向少数用户或工人提供couponsor或劳动力市场培训，可能不会在实验期间引起其他公司的市场反应；但当它们在全球层面实施时，可能会产生有意义的总价格反应或更激烈的劳动力市场竞争。这导致实验测量的效果与全球层面实施干预的实际影响之间存在差距。为了解决这个问题，本文献提出了创新的解决方案，从局部效应推断，以弥补与全球干预措施之间的差距。为了便于参考，我们参考了这篇局部全球差距文献。与本文献不同，本论文的重点不是从局部效应外推到全局效应的问题。相反，本研究的重点是了解同时进行的局部实验如何影响从整个实验中可以学到的东西。此外，目前的研究解决了一个问题，即在一个本地实验中可以学到什么取决于竞争对手的实验政策。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:56

我们表明，这种依赖性影响到实验结束和必须实施政策时，效应到实验后阶段的可传递性。这两个问题都是新问题，在当前的本地-全球差距文献中没有解决。本文与当地的全球差距文献有一种概念上的关系，两者都旨在解决实验中的一个宏观问题，即在当地实验中测量的结果可能不是与决策相关的正确效果。在本文中，这是由于实施干预措施后，竞争对手的政策发生了变化，而在当地的全球差距文献中，这是由于在实施干预措施后，出现了全球最佳反应。从这个意义上说，我们认为我们的论文是对这一文献的补充，并概述了一种新的互动，这种互动源于与平台实验相关的竞争。我们的论文还与关于干扰实验的最新文献相关，例如社交网络和溢出效应（例如，Hudgens和Halloran，2008；Atheyet等人，2018；Imai等人，2021）。广义而言，本文献的主旨是适应实验单元之间存在相互作用的情况，因此违反了稳定单元处理值（SUTVA）假设。本文献调查了此类违反经文对治疗效果评估的影响，并制定了策略，以确定当地全球差距文献中提出的想法可用于将此处概述的影响外推至全球水平，但这超出了本文的范围。这种情况下的逻辑因果估计和估计。本文在概念上不同于此流。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:57:59

在本文所考虑的环境中，干扰不是由于单位之间的相互作用而产生的，而是由于它们同时处于多个实验中，并且存在或不存在公司及其实验会影响单位对焦点广告公司的行为。因此，这里的交互不是因为实验单位（用户）之间的交互，而是因为实验实体（企业）之间的交互，所以SUTVA条件成立。因此，我们认为这里所考虑的问题在概念上不同于干扰文献所考虑的问题，因此，它们需要不同的解决方案。最后，本文与干扰文献之间存在一种概念关系，即在存在精确定义的相互作用的情况下，通过定义具有经验内容的新因果估计值，在有效治疗效果估计问题上取得进展。在这篇论文中，新的估计值是给定企业的因果效应，作为其竞争对手存在或不存在的函数；在干扰文献中，新的估计是在交互用户组中定义的给定企业的组级因果效应。总的来说，我们相信我们的作品是新颖的，是对这些文献的补充。本文还涉及通过实验测量数字广告效果的文献以及测量竞争中广告效果的实证文献。除了引言中引用的论文外，该交叉点的例子包括Degomes等人（2009）、Reiley等人（2010）、Lewis和Nguyen（2015）以及Lambrecht和Tucker（2013）。与我们的论文不同，本文献并不关注我们关注的平行实验所带来的挑战。从广义上讲，我们也为有关数字广告实验的大量文献作出了贡献。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:58:02

为了简洁起见，我们对这些文献进行了简短的回顾，并将读者引向Gordon等人（2021）以及其中的参考文献，以获得最近的全面概述。从实验设计的角度来看，我们依赖于在大规模实施重叠实验的基础设施开发方面取得的进展（例如Tang等人，2010）。我们的特殊设计是全因子设计，旨在评估多个因素之间的交互作用。全因子设计早就被用于营销，至少可以追溯到巴克莱（Barclay，1969年）。本文利用这种结构和设计，在实际市场中开发具有经济内容的新评估。此外，在一定程度上，我们利用反事实政策记录来提高我们的估计精度，我们的工作与最近的文献有关，这些文献提出了提高统计效率的策略（例如，Johnson等人，2017年；关于全因子设计的教科书处理，请参见Montgomery（2017年）。Simester等人，2020年）。本文的一个贡献是展示如何将所有这些方面结合在一个连贯的实际系统中，该系统可以在复杂的、拍卖驱动的广告平台上大规模实现。2一个简单的例子本节介绍一个简单的例子来说明我们的框架。这个例子有三个目标。首先，使用一个更简单的符号，它定义了我们试图估计的对象。因此，它描述了我们在衡量广告效果时所考虑的竞争干扰的来源。其次，它为一个实验引入了全因子设计，该实验提供了数据，使我们能够估计广告效果，同时在平行实验发生时考虑竞争干扰。此外，它还显示了忽略这种干扰时测量广告效果的后果。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:58:05

特别是，它表明，估计的对象难以解释，不能被视为与政策相关的治疗效果。第三，它讨论了拟议实验中测量的广告效果如何在实验发生后通知企业的决策。我们专注于一种我们认为既实用又合理的特殊方法。2.1利益对象考虑到一个广告市场，其中f和g两家公司竞争向用户展示他们的广告，并且只有一次机会让每个用户看到他们的广告。我们从f公司的角度出发，但对g公司的分析是对称的。公司f试图估计其广告ATE的预期效果，目的是使用该估计来更好地通知其决策，例如是否应该首先进行广告宣传。如果显示广告，则将f表对用户i的潜在结果表示为Yi f（f），如果显示g\'sad，则表示为Yi f（g），如果未显示广告，则表示为Yi f（0）。让af和Agbe分别指示f和g是否是广告，Wibe是用户i所接触到的广告的标识。我们定义pw（Af、Ag）≡ 公共关系Wi=wAf，Ag. 为了使f的广告具有相关性，它必须保持pf（1，Ag）>0。反过来，g要成为f的相关竞争对手，必须是pg（Af，1）>0的情况。自然地，pf（0，Ag）=pg（Af，0）=0。这种概率结构自然出现在竞争性广告的环境中，比如我们在这里考虑的情况，因为企业通常通过参与拍卖来竞争展示其广告。我们现在确定了日期。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:58:09

让WAf，Ag成为用户可以接触到的一组广告。从用户i到表f的观察结果为Yi f=∑w∈W（Af，Ag）{Wi=W}×Yi f（Wi）。公司f的ATE是g广告政策的函数，我们用τf（Ag）表示，即τf（Ag）≡ E易建联f1，Ag-E易建联f0，Ag=∑w∈{f，g，0}PrWi=w1，Ag×EYi f（Wi）-∑w∈{g，0}PrWi=w0，Ag×EYi f（Wi）=∑w∈{f，g，0}pw1，Ag×EYi f（w）-∑w∈{g，0}pw0，Ag×EYi f（w）. （1）方程式（1）强调了两种可能产生干扰的方式，每种方式都通过方程式右侧总和中的一个成分。首先，如果g’spresence影响f’sAD显示的概率，即pf（1，1）6=pf（1，0），则可能出现这种情况。我们将这种影响称为分配变化。其次，如果f的结果取决于g的存在，而f没有显示其ad，即如果Yi f（g）6=Yi f（0），则会产生干扰。我们将这种效果视为外部性。如果既不存在分配变化，也不存在外部性，则不存在干扰，因此τf（1）=τf（0）=τf.2.2实验下一步是结合g的实验可能性，只有当Ag=1时，才可能出现。让Eg作为g是否正在试验的指标，σgDenote表示我在g治疗组的概率，在这种情况下，我有资格看到g\'sad。因此，g的治疗组中的用户f的ATE为τf（1），而ing的对照组中的用户f的ATE为τf（0）。因此，企业f的总ATE是τf（1）和τf（0）之间的凸组合，权重由σg确定。例如，如果Af=Ag=1，则W（1，1）={f，g，0}，而如果Af=1且Ag=0，则W（1，0）={f，0}。要了解这一点，请考虑当Eg=1且σg给定时的第一个Yi fw。它如下所示：E易建联fAf，σg= Pr（Ag=1）E易建联fAf，1+ Pr（Ag=0）E易建联fAf，0= σgE易建联fAf，1+ (1 -σg）E易建联fAf，0.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:58:13

（2）由于上述表达式适用于Af的两个值，我们可以将f的ATE定义为g实验策略的函数，我们用ξf（σg）表示为ξf（σg）≡ E易建联f1，σg-E易建联f0，σg= σgE易建联f1, 1+ (1 -σg）E易建联f1, 0-σgE易建联f0, 1-(1 -σg）E易建联f0, 0= σgE易建联f1, 1-E易建联f0, 1+ (1 -σg）E易建联f1, 0-E易建联f0, 0= σg×τf（1）+（1- σg）×τf（0），（3），其中第二个等式使用等式（2），最后一个等式使用等式（1）。注意，ξf（·）是τf（·）的广义版本。当σg=1时，表格g将所有用户分配给其治疗组，这对应于Ag=1和Eg=0的情况，即g是广告但不是实验，因此ξf（1）=τf（1）。另一方面，如果σg=0，则表格g将所有用户分配到其控制组，这对应于g不做广告的情况，因此Ag=Eg=0，因此ξf（0）=τf（0）。最后，当σg∈ （0，1），Ag=Eg=1，因此g是广告和实验，因此F的总ATE成为σg的函数。图1总结了这种环境。图1：f’s ATEs作为g’s policies函数的图解公司gAg=0ξf（0）=τf（0）Ag=1Eg=1ξf（σg）=σg×τf（1）+（1- σg）×τf（0）Eg=0ξf（1）=τf（1）2.3衡量广告效果假设f公司进行实验以获得数据来估计其ATE，并假设g公司进行平行实验。让Di fand Digbe分别指示i是否为inf和g治疗组。我们假设f和g将用户分配到各自独立的治疗组。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:58:16

该实验遵循2工厂设计，如图2所示。图2:2工厂设计和识别对象示意图DIG=1Di f=1E易建联f1, 1E易建联f1, 0E易建联f0, 1E易建联f0, 0Dig=0Di f=0基于从此类实验中收集的数据确定f的ATE是直接的，因为随机化意味着E易建联fDi f，挖掘= E易建联fAf，Ag. 通过关注属于f和g治疗组的用户的平均结果，f表可以估计易建联f1, 1, 如图2的西北象限所示。相同的逻辑适用于toE易建联f1, 0, E易建联f0, 1和E易建联f0, 0使用适当的用户组。通过这四个估计，f表可以很容易地恢复τf（1）和τf（0）。请注意，这种方法的前提是考虑到g的治疗分配，但情况往往并非如此。假设f忽略g也在试验。当关注自己的治疗组时，f公司认为有资格看到概率为σ的g\'sads和概率为1的不合格的用户-σg。因此，这些用户的平均结果对应于E的凸组合易建联f1, 1和E易建联f1, 0如图3上部矩形所示，如等式（2）所示。对于f的控制组中的用户，获得了一个不合理的结果。图3：典型实验方法和识别对象的图示SDG=1Df=1σgE易建联f1, 1+ (1 -σg）E易建联f1, 0σgE易建联f0, 1+ (1 -σg）E易建联f0, 0Dg=0Df=0在这种情况下，通常的估计值是使用者inf治疗组和f对照组的平均结果的差异。该估计器恢复的对象是ξf（σg），如等式（3）所示。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:58:19

这个对象在广告政策方面没有内在的意义或解释，只有在g没有改变其行为的情况下，也就是说，如果g在f的实验结束后继续进行相同的实验，这个对象才有意义。然而，我们的前提是实验注定要结束，所以g将停止实验。这表明了平行实验的潜在负面后果：如果进行了平行实验，但在估计中忽略了平行实验，则企业实验的最终结果是一个对该企业用处不大的估计对象。2.4决策我们现在考虑企业如何利用从实验中恢复的对象在实验后做出决策。虽然有许多可能的方式可以对这些信息采取行动，但我们只考虑一种这样的方式，我们认为这种方式既实用又合理。更准确地说，我们考虑使用f的置信度加权平均f的ATE，以获得用于决策的加权ATE。实验结束后，我们假设平台向f披露了其ATE、τf（1）和τf（0），但仅此而已。请注意，这种方法的前提是平台可以如实报告其获得的估计。我们进一步假设f具有abelief，用πf（·）表示，这对应于实验结束后Ag=1的主观概率。我们对这些信仰是如何形成的没有立场。根据平台和πf（·）提供的估计值，实验结束后f的预计ATE由ξf给出πf（·）=∑Ag公司∈{0,1}πf（Ag）×τf（Ag），（4），如果τf（1）和τf（0）已知，可以计算任何πf（·）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-6-14 08:58:22

假设企业f最大化其广告预期收益，则Af=1如果且仅当ξfπf（·）≥ κ、其中κ是广告成本，我们假设f知道。公司f只有了解其ATE如何与其竞争对手的广告政策发生冲突，才能遵循这一行动方针。这并不要求f了解g的ATE，实际上，平台不会向f披露以保护g的隐私。请注意，相关信息只能通过使用全因子设计的实验获得，而全因子设计只能由平台执行，因此证明了它在促进企业决策方面可以发挥的关键作用。然而，在大多数情况下，企业面临的不仅仅是一个竞争对手。即使平台进行了适当的实验并恢复了所有ATE，许多公司在收到这些信息后可能无法智能地采取行动。例如，在我们的应用程序中，每家公司都有30000多个ATE，预计只有高度成熟的公司才能使用所有这些信息。或者，该平台可以披露一份ATE摘要，便于企业解读和利用。根据（4）中给出的政策相关处理效果，平台的合理披露政策是向f提供ξfπf（·）, 然后f可以用它来做广告决策。信念πf（·）可以由f给出，或者作为概率，由平台评估。3一般框架本节概括了第2节中介绍的框架。尽管注释变得更加复杂，但这实现了两个目标。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:58:25

首先，它展示了如何将两个以上的广告商、每个用户一个以上的印象机会和一个以上的目标受众结合起来，以生成与等式（1）中定义的对象类似的对象，这些对象仍然是我们要恢复的对象。其次，它允许我们正式研究并建立此类物体以及构成它们或由它们产生的其他数量的识别结果。第4节给出的这些结果有助于我们清楚地确定我们提出的实验设计使我们能够估计的内容。3.1设置广告市场由一组≡{1，…，T}的相互排斥和集体详尽的目标受众，我们以T为索引。我们将这些目标受众视为平台提供的受众。在广告活动中，目标受众的决定是在模型之外决定的，由广告商决定。我们假设目标受众已经确定，因此在目标受众t中没有系统的选择或目标。在相关时间段内，用户i可以接触到S广告，每个广告都由S索引。最后，竞争向用户展示其广告的一组公司由F≡{1，…，F}。为方便起见，我们定义≡ F∪ {0}. 公司0不是一个实际的公司，而是对应于不显示广告的选项。让Af t作为公司f是否向目标受众t进行广告的指标。注意所有t的A0t=1。此外，让At作为收集所有此类指标的集合，并-f，tbe是一套收集除固定f以外的所有指标的集合。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:58:28

还可以方便地确定setAt≡Af t：f∈ 风扇Af t=1, 这是为目标受众t做广告的所有公司的集合。对于目标受众t中用户i的每个广告机会s，公司根据平台建立的机制进行排名，排名靠前的一个显示其排名。设置可以轻松扩展到序列中特定于i或t数量的印象机会，而代价是相对较简单的符号。我们坚持认为，所有用户都有相同数量的简单印象机会。ad.我们定义了包含Rist排名企业的集合。我们用r索引排名中的每个位置，以便Rist≡R（1）ist。。。，R（R）ist。。。，R（| At |）ist, 其中，R（R）是排名rth的公司的身份。只有为目标受众做广告的公司才会排名。在线广告的排名通常由提交给拍卖的出价决定，但这不是必需的。我们所需要的只是对企业进行某种程度的排名。我们将Wistas定义为目标受众t中向用户i显示的sthad的身份，以便WIST∈ F、因此，Wist=R（1）ist，（5）其中R（1）是排名靠前的公司，以显示其广告。我们进一步确定了概率pwstAf t，A-f，t≡ 公共关系Wist=wAf t，A-f，t. 我们声明如下。备注1。Ad显示可能性（i）pf st（0，A-f，t）=0表示所有s，A-f、t、f∈ 风扇t∈ T、（ii）pf st（1，A-f、t）≥ 0表示所有s，A-f、t、f∈ 风扇t∈ T、备注1（i）指出，如果一家公司没有在该地区做广告，则该公司不能展示其广告。反过来，备注1（ii）中的弱不平等使得企业在某些情况下变得无关紧要，因为即使他们在做广告，他们也可能无法展示自己的广告。让智慧≡{Wi1t，Wi2t，…，WiSt}是在目标audiencet中向用户i显示的广告序列。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:58:31

还定义WAf t，A-f，t作为所有可能的广告序列的集合，显示为企业广告政策的函数。我们表示sequenceWit的潜在结果∈ WAf t，A-f，t对于f from i in t by Yi f t（Wit）。从i int中观察到的f结果是：Yi f t=∑W∈W（Af t，A-f，t）{Wit=W}×Yi f t（Wit）。（6）我们现在开始根据竞争对手的政策确定公司的ATE。定义Wit=WAf t，A-f，t≡ pWt公司Af t，A-f，t. 例如，如果通过拍卖出售广告展示机会，并且公司的出价符合底价，那么用户ITIS可能会为f公司带来预期的结果。在目标受众中，t给出ATI:EYi f tAf t，A-f，t=∑机智∈W（Af t，A-f，t）pWt（Af t，A-f，t）×uf Wt（W），（7），其中uf Wt（W）≡ EYi f t（智慧）Wit=W. 最后，目标受众中企业的ATE是竞争对手广告政策的函数，τf tA.-f，t, 由：τf t（A）给出-f，t）=EYi f tAf t=1，A-f，t-EYi f tAf t=0，A-f，t=∑机智∈W（1，A-f，t）pWt（1，A-f，t）×uf重量（W）-∑机智∈W（0，A-f，t）pWt（0，A-f，t）×uf重量（W）。（8）请注意，这定义了2F的集合-1目标受众t中f公司的不同ATE。这些ATE对公司的决策起着关键作用，我们将在下面演示。我们提出的实验设计旨在提供数据，以便我们在经验应用中对这些对象进行估计。3.2实验我们现在将实验纳入此设置。让Ef t作为企业f是否在目标受众t上进行试验的指标。根据定义，企业只能在做广告时进行试验，因此每当Af t=0时，Ef t=0。进一步，让Et表示在目标受众t上进行实验的一组公司，Ot表示不为目标受众t做广告的一组公司。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-14 08:58:36

因此，F \\（Et）给出了针对目标受众t而不是在其上进行试验的集合或公司广告∪Ot）。确定目标受众t中的用户i是否分配给企业发展集团的指标。在f公司的治疗组时，我有资格看到f公司的广告；否则，我就没有资格看到f的广告。公司f将目标受众t中的用户i以概率σf t分配给其治疗组。我们注意到以下几点。备注2。治疗分配概率（i）如果f∈ 所以Af t=Ef t=1，然后σf t∈ (0, 1).（ii）如果f∈ Ot，所以对于所有i，Af t=Ef t=0，然后σf t=0，Di f t=0∈ t、（iii）如果f/∈ Et公司∪Ot，所以对于所有i，Af t=1，Ef t=0，然后σf t=1，Di f t=1∈ t、（四）0/∈ Et公司∪Otfor所有t∈ T、这些条件很简单。备注2（i）指出，实验公司以严格的正概率将受试者分配到其治疗组和对照组。Remark2（ii）指出，如果f不是为t做广告，t中的任何用户都没有资格看到其广告，这相当于t中的所有用户都被分配到t中f的控制组的情况。反过来，备注2（iii）考虑了相反的情况：如果f是为ont做广告，但没有试验ont，t中的所有用户都有资格看到f的广告，与所有用户int被分配到t中f的治疗组的情况相对应。最后，备注2（iv）简单地指出，所有目标受众中的所有用户都可以选择0不显示广告。我们始终坚持以下假设。假设1。独立治疗分配来自所有目标受众的用户被分配到治疗组或对照组，彼此独立，跨公司独立。假设1是不言而喻的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 08:58:40

由于我们所考虑的实验是由公司竞争展示其广告的平台进行的，因此该平台可以保证满足该条件。我们从所有f∈ Finσ和除σ中的f外的所有此类概率-f，t。我们进一步收集Dit中属于目标受众t的用户i的所有治疗指标，我们称之为用户i的完整治疗分配，以及向量Di中除f外的所有此类指标，-f，t，我们称之为用户i的部分治疗分配。在继续之前，我们需要更精确地指定在完成实验时显示ADS的机制。我们在下面这样做。假设2。当企业进行实验时显示广告，而不是如方程式（5）中所示，现在显示的是Wist=（minr=1，…，| At | R（R）ist:Di，R（R）ist，t=1），（9），其中Ristis确定为没有实验。假设2表明，用户i收到排名最高的公司的广告，该公司为目标受众t做广告，因此我属于其治疗组。重要的是，企业的排名方式与在没有实验的情况下的排名方式相同。如上所述，这确保以类似于Johnson et al.（2017）提出的方式显示正确的反事实广告。现在我们可以继续推广方程（7）。我们从f公司的角度出发，根据其广告政策和竞争对手的实验政策，试图表达目标受众t中用户i的预期结果。首先，确定部分处理任务D-f，t。假设1和2，我们得到：EYi f tAf t，D-f，t=∑W∈W（Af t，D-f，t）pWt（Af，t，D-f，t）×uf重量（W）。（10）我们需要在给定σ的f’s竞争对手中考虑用户i的所有可能治疗和控制组合-f，t。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝