将印象转化为转换的可能性）。3.2.1模型的设置如上所述，我们仍然考虑希望在时间窗口[0，T]内花费给定金额的广告交易员。拍卖：这个广告交易者连接到J>1来源，他从中收到参与拍卖的请求，以便购买存货——我们假设交易者知道每个拍卖请求来自哪个来源。请求用J标记的泊松过程建模：来自源J的请求的到达∈ {1，…，J}由强度λJ>0的泊松过程（Njt）和标记（pjn）n的跳跃触发∈N*和（ξjn）n∈N*对应于源j发送的每个拍卖请求，分别对应于其他参与者发送的最高出价和转换的发生——ξjn∈ {0，1}只有在广告交易者获胜的情况下才有意义。每次他从来源j收到参加拍卖的请求时，广告商人都可以出价：在时间t，如果他收到来源j的请求，那么我们将他的出价表示为bjt。在上面的模型中，我们假设∈ {1，…，J}，过程（bjt）是一个具有R值的可预测过程+∪ {+∞}.如果在时间t发生与源j相关的第n次拍卖，则该拍卖的结果如下：o如果bjt>pjn，则广告交易者赢得拍卖：他支付价格pjn，并展示他的横幅。此外，当且仅当ξjn=1时，才会发生转换如果bjt≤ pjn，然后另一个交易者赢得了拍卖。如上所述，我们假设每个j∈ {1，…，J}，（pjn）n∈N*i.i.d.是根据绝对连续分布分布的随机变量。我们用fj表示累积分布函数，用fj表示与源j相关的概率密度函数。如上所述，我们假设每个j∈ {1，…，J}，即：N∈ N*, 这几乎肯定是积极的。

尤其是Fj（0）=0.op>0，fj（p）>0.o无力的→+∞pfj（p）=0。我们还假设随机变量（pjn）j∈{1，…，J}，n∈N*他们都是独立的。至于变量（ξjn）j∈{1，…，J}，n∈N* 我们假设它们都独立于变量（pjn）j∈{1，…，J}，n∈N* . 此外，我们假设每个j∈ {1，…，J}，（ξjn）n∈N*i.i.d.随机变量是否按照参数为νj的aBernoulli分布分布∈ [0, 1].剩余现金流程：如上所述，我们用（St）t表示将要花费的现金量建模的流程。其动态为：dSt=-JXj=1pjNjt{bjt>pjNjt}dNjt，S=`S。库存流程：针对每个j∈ {1，…，J}，与源J的拍卖请求相关联的印象数量由库存过程（Ijt）t建模∈ {1，…，J}，（Ijt）tis的动力学：dIjt=1{bjt>pjNjt}dNjt，Ij=0。转换次数的过程：对于每个j∈ {1，…，J}，与源J的拍卖请求相关联的转换次数由新进程（Cjt）t建模∈ （Cjt）的动力学：dCjt=ξjNjt{bjt>pjNjt}dNjt，Cj=0。随机最优控制问题：在模型的第二个扩展中，交易者的目标是使形式指标的期望值最大化αIT+…+αJIJT+δCT+…+δJCJT, α, . . . , αJ≥ 0, δ, . . . , δJ≥ 我们考虑的放松问题是：inf（bt，…，bJt）t∈阿杰-JXj=1αjIjT-JXj=1δjCjT+K min（ST，0）.3.2.2 HJB方程：从维度2J+2到维度2，与该问题相关的值函数为：u:（t，I，C，S）∈ [0，T]×NJ×NJ×(-∞,\'S]7→ inf（bs，…，bJs）s≥T∈阿杰特-JXj=1αjIjTb，t，Ij-JXj=1δjCjTb，t，Cj+K minSb，t，ST，0,其中dsb，t，Ss=-JXj=1pjNjs{bjs>pjNjs}dNjs，Sb，t，St=S，dIjsb，t，Ij=1{bjs>pjNjs}dNjs，Ijtb，t，Ij=Ij，J∈ {1, . . .

，J}，和dcjsb，t，Cj=ξjNjs{bjs>pjNjs}dNjs，Cjtb，t，Cj=Cj，J∈ {1，…，J}。特别是，有J个新的状态变量，对应于与每个J源关联的转换数。相关的汉密尔顿-雅可比-贝尔曼方程为：-图（t，I，C，S）-JXj=1λjinfbj∈R+Zbjfj（p）(1 - νj）（u（t，I+ej，C，S）- p）- u（t，I，C，S））+νj（u（t，I+ej，C+ej，S- p）- u（t，I，C，S））dp=0，（3.10）带有终端条件u（T，I，…，IJ，C，…，CJ，S）=-JXj=1αjIj-JXj=1δjCj+kmin（S，0）。式（3.10）是一个非标准的积分微分HJB方程，其维数为2J+2，是式（3.1）的推广。在这个扩展中，我们考虑了形式（t，I，…，IJ，C，…，CJ，S）=-JXj=1αjIj-JXj=1δjCj+v（t，S）。有了这个ansatz，等式（3.10）变成了另一个HJB方程，但在维度2中，它将等式（3.2）推广到考虑转换的情况：- 电视（t，S）-JXj=1λjinfbj∈R+Zbjfj（p）（v（t，S）- p）- v（t，S）- αj- νjδj）dp=0，（3.11），终端条件v（T，S）=K min（S，0）。3.2.3流体极限近似值Q。（3.11）与式（3.2）相同，只是αjis被αj+νjδj取代。特别是，我们可以使用与前一个扩展类似的规则来近似最佳投标策略。我们将介绍定义为：H:x的函数H∈ R7→ H（x）=JXj=1λjsj∈R+Zbjfj（p）αj+νjδj+xpdp=PJj=1-λjxR-αj+νjδjxFj（p）dp，x<0PJj=1λjαj+νjδj+xR∞pf（p）dp, 十、≥ 0.在转换的情况下，我们近似于最佳出价b1*T北京*t时间t乘以b1*∞（t，圣-), . . . ,~bJ*∞（t，圣-), 其中函数（~bj）*∞)jare定义人：o如果≥PJj=1λj（T- t） R∞pfj（p）dp，然后：J∈ {1，…，J}，~bj*∞（t，S）=+∞.o 如果S<PJj=1λj（T- t） R∞pfj（p）dp，然后：J∈ {1, . . .

，J}，~bj*∞（t，S）=-αj+νjδjH′-1.装货单-T.与模型的上一个扩展一样，如果-≥PJj=1λj（T- t） R∞pfj（p）dp，然后很自然地发出非常高的出价，以确保赢得所有的拍卖。如果圣-<PJj=1λj（T- t） R∞pfj（p）dp，然后根据以下规则将投标从一个来源区分到另一个来源：j、 j′∈ {1，…，J}，~bj*∞（t，S）αj+νjδj=~bj′*∞（t，S）αj′+νj′δj′。特别是，如果广告交易员只关心总转换次数，即如果α=…=αJ=0和δ=…=δJ=1，则各个来源的出价是相同的，直到一个乘法因子，对应于与每个来源相关的转换概率。最后，与前一个扩展一样，在这个扩展中，如果使用流体极限近似值，那么预算预计将被均匀地占用。3.3关于模型的讨论我们在第2节中介绍了第一个模型，并在本节前面介绍了第一个模型的两个扩展。在以下段落中，我们的目标是挑战这些模型背后的假设。特别是，我们讨论了与二次价格拍卖相关的具体城市，以及楼面价格的存在，这违背了上述模型中关于待拍价格分布的假设。我们还讨论了没有降维的非线性KPI。3.3.1第一价格拍卖与第二价格拍卖在第2节的初始模型和本节介绍的两个扩展中，我们都考虑了Vickrey拍卖。换句话说，广告交易员在拍卖时支付的价格不是他出价的价格（第一个价格），而是与其他参与者提出的最高出价相对应的较低价格（第二个价格）。在第一次价格拍卖的情况下，剩余预算的动态（在第2部分的单一来源模型中）不再由等式给出。

（2.1），但取而代之的是：dSt=-bt{bt>pNt}dNt，S=\'S。如果我们考虑与第2节相同的目标函数，那么新的值函数u:（t，I，S）∈ [0，T]×N×N(-∞,\'S]7→ inf（bs）s≥T∈吃了-Ib，t，IT+K minSb，t，ST，0,其中dsb，t，Ss=-bs{bs>pNs}dNs，Sb，t，St=S，和dib，t，Is=1{bs>pNs}dNs，Ib，t，It=I，与以下HJB方程相关：-图（t，I，S）- λinfb∈R+F（b）（u（t，I+1，S）- b）- u（t，I，S））=0，终端条件u（t，I，S）=-I+K min（S，0）。与ansatz u（t，I，S）=-I+v（t，S），这个方程变成：- 电视（t，S）- λinfb∈R+F（b）（v（t，S）- b）- v（t，S）- 1） =0，（3.12），终端条件v（T，S）=K min（S，0）。式（3.12）取代式（2.3）。特别是，一阶条件不再是v（t，S）- b）- v（t，S）- 1=0，而不是v（t，S- b）- v（t，S）- 1=F（b）F（b）Sv（t，S）- b） 。特别是，因为v相对于S不增加，所以在第一价格拍卖的情况下，最优出价S应该比在第二价格拍卖的情况下更低。还值得注意的是，在ofEq的情况下，可以考虑流体极限近似值。（3.12）通过解决- t~v（t，S）+λsupb∈R+（F（b）b在终端条件下，S（t，S）+F（b））=0，（3.13）~v（t，S）=K min（S，0）。特别是，等式（3.13）是一阶汉密尔顿-雅可比方程，通过使用与二次价格拍卖相同的技术，我们还发现，最优策略包括平均花费剩余预算。3.3.2底价为了提高性能，出版商可以设定底价，这有时会改变拍卖的基本性质。底价实际上有两种形式：o硬底价（或底价）：只有当广告交易商的出价高于出版商（供应方）设定的底价水平φ时，才会考虑其出价。

当一个地面等级φ被设置时，一切都像一个“幽灵玩家”总是在叫φ一样工作。特别是，累积分布函数F可能是不连续的，ajump的价格为φ软地板：如果最佳出价低于软地板水平φ，则中标人支付自己的出价，而不是第二个价格；否则，支付的价格为第二价格和φ之间的最大值。换句话说，这次拍卖不再是Vickrey式的：它是第二次价格拍卖，对于大额出价有硬地板，对于小额出价则成为第一次价格拍卖。通过将我们的方法推广到不连续累积分布函数F的情况，我们的模型可以推广到处理硬地板的情况——在这种情况下，F可以被视为一个分布。结果仍然是，Budget s应该平均花费，但最优竞价策略的编写更为繁琐——而确切的表达方式没有理论意义。软地板的情况也可以得到解决，但它确实非常重要。特别是，在所有拍卖的统一软地板φ的情况下，等式（2.3）被以下形式的等式替换-电视（t，S）- λinf免疫纳米荧光微球∈[0，φ]F（b）（v（t，S）- b）- v（t，S）- 1） ，infb>φZbf（p）（v（t，S）- 最大值（p，φ））- v（t，S）- 1） dp= 0，终端条件v（T，S）=K min（S，0）。在实践中，同样值得注意的是，我们的出价可能会影响其他用户的战略行为，尤其是可能设定动态价格的出版商的行为。从建模的角度来看，这意味着函数f受策略本身的影响，它打开了一个广阔的领域，在这个领域（平均场）博弈论可能非常有用。3.3.3非线性KPI在广告行业中通常与不同的指标或KPI一起使用。

从业者的目标通常是将CPM、CPC（每次点击的成本）或CPA（每次购买的成本）降到最低。值得注意的是，不同的出版商可能会设置不同的硬封面。换句话说，F中可能有几个跳跃。根据我们模型的符号，时间T的CPM自然定义为：CPMT=\'S- 斯蒂特。如果总支出被设定为“S”，则将CPMTboils的预期价值最小化，使EhITi最小化，而不是E[IT]最大化，或者，等效地，使E最小化[-它与第2节的模式类似。值得注意的是，我们的模型在某种程度上忽略了传统KPI的非线性所导致的风险规避效应，但这只是凸性的一个副作用，因为非线性RKPI并不是为了捕捉任何形式的风险规避而建立的。事实上，真正的问题是，在我们的模型中使用的降维的核心变量（从u到v）的变化并没有扩展到非线性KPI。然而，从数学角度来看，我们基于动态规划原理（和HJB方程（2.2））的方法仍然适用于任何KPI。上述CPM分析也适用于CPC和CPA。在涉及转换（可能被视为点击或收购）的模型扩展中，我们考虑了转换次数Pjj=1δjCjT的线性函数，而参与者更愿意考虑与获得不同类型转换的平均支付金额相关的非线性KPI。总的来说，我们认为线性KPI与营销人员目前使用的传统非线性KPI（当总预算固定时）一样重要，并且从数学角度来看，线性KPI应该优先用于解决广告交易台面临的问题。结论在这篇研究论文中，我们解决了媒体交易平台通过实时拍卖购买广告库存所面临的几个问题。

对于应用数学家来说，这些问题都是新问题，因为程序广告行业本身也很新。然而，应用数学家在定量金融中的算法分析工作中提出的许多想法，对于开发新模型以及随后在一个新的、快速增长的领域（如25年前的金融业）开辟创新之路具有启发性。我们的贡献是多方面的。首先，从建模的角度出发，我们通过标记泊松过程对随机时间的拍卖进行建模，其中泊松过程的跳跃代表拍卖请求的发生，以及其他参与者提出的最佳出价等多个变量的标记，以及转换的发生。这种方法可以使用动态规划原理，并通过汉密尔顿-雅可比-贝尔曼（Hamilton-Jacobi-Bellman）得出最优投标策略的简单特征。KPI只影响u方程上的终端条件。此外，它允许以非常简单的方式考虑多种来源和类型的库存。其次，通过考虑线性目标准则（或KPI），我们设法降低问题的维数。特别是，无论库存源和类型的初始数量是多少，无论我们是否考虑转换，我们都表明问题总是归结为求解维度2（一个时间维度和一个空间维度）的Hamilton-Jacobi-Bellman偏微分方程。第三，通过考虑问题的流体极限近似，我们得到了最优投标策略的近似近似解。此外，流体极限近似的结果不仅可以根据最优投标来描述最优策略，还可以根据剩余预算的最优调度来描述最优策略。

后者简化了实现，因为最优投标策略可以通过反馈控制跟踪机制动态逼近。最终，我们在本文中提出的建模方法为未来的研究打开了大门，在未来的研究中，投标策略的最佳控制与在线学习相结合（在一篇配套文章中处理——见[12]），拍卖的不同参与者——包括出版商——可以采取战略行为，关于拍卖结果的信息受到重要延迟等影响。附录：离散时间的简单模型在本附录中，我们提供了第2节中介绍的模型的简化离散时间版本，以便读者——尤其是那些不使用连续时间模型的读者——对本文中使用的优化方法有直观的了解。让我们引入一个概率空间(Ohm, F、 P）配备离散过滤装置（Fn）∈不满足通常的条件。我们在本小节中定义的变量是在这个过滤概率空间中考虑的。让我们考虑一个参与N Vickrey拍卖序列的投标系统。我们假设系统的状态由三个变量来描述：（i）广告交易台收到的广告请求数量n，（ii）第n次拍卖后购买的印象数量（我们假设i=0），以及（iii）第n次拍卖后的剩余预算SNA——我们假设S=’S是要花费的最大总金额。该算法的目标是最大化形式为E[g（N，IN，SN）]的目标函数，对于某些函数g。特别是，如果我们想最大化印象的数量，g（N，IN，SN）可以等于Ini。对于每个拍卖请求，算法都会选择一个出价级别。对于第n次拍卖，我们在这里用bn表示发送到拍卖服务器的出价（bn必须是Fn）-1-可测量）。

当这种情况发生时，用概率密度函数f画出一个随机变量Pn。这个随机变量代表要拍的价格。由此产生的系统动力学如下：o如果bn>pn，则算法赢得拍卖，支付的价格为pn，系统从状态（n）演化而来- 1，I，S）到状态（n，I+1，S）- 请注意。）如果bn≤ pn，则算法不会赢得拍卖，系统从状态（n）演化而来- 1，I，S）到状态（n，I，S）。让我们定义值函数：u（n，I，S）=max（bk）k>n∈AnE[g（N，IN，SN）|Fn]，其中（bk）k>N∈ Anif且仅当（bk）k>nis是一个可预测的过程，如SN≥ 0，几乎可以肯定。为了解决这个优化问题，我们简单地使用了动态规划原理，它包含以下贝尔曼方程：u（n- 1，I，S）=maxbn∈[0，S]E[u（n，I+1，S- pn）10亿>pn+u（n，I，S）10亿≤请注意]。（A.1）等式（A.1）也可以写成以下微分方程u（n，I，S）- u（n）- 1，I，S）+maxbn∈[0，S]E[（u（n，I+1，S- （请注意）- u（n，I，S））1bn>pn]=0，即：u（n，I，S）- u（n）- 1，I，S）+maxbn∈[0，S]Zbn（u（n，I+1，S- p）- u（n，I，S））f（p）dp=0。（A.2）根据终端条件u（N，I，S）=g（N，I，S），值函数u可以通过网格上的反向归纳轻松地进行数值近似。第n次拍卖的最优出价由最优性条件u（n，In）给出-1+1，序号-1.- B*n） =u（n，In）-1，序号-1） 还是b*n=Sn-1如果你（n，In）-1+1,0）>u（n，In-1，序号-1). 特别是，当约束不具有约束力时，最优出价与Vickrey拍卖中参与者有动机对物品的真实估价进行出价这一事实是一致的。值得注意的是，在g（N，I，S）=I的特殊情况下，可以使用与第2节连续时间模型中类似的变量变化。

在这种情况下，如果我们写eu（n，I，S）=I+v（n，S），那么贝尔曼方程（A.2）可以简化为：v（n，S）- v（n）- 1，S）+maxbn∈[0，S]Zbn（v（n，S）- p）- v（n，S）+1）f（p）dp=0，终端条件为v（n，S）=0。这个离散时间模型有助于理解我们使用的通用建模框架，但它是有限的。首先，在实践中，拍卖在随机时间到达，我们不知道算法将收到多少拍卖请求。此外，对于不同拍卖请求来源必须并行处理的问题，上述离散建模方法并不方便。连续时间模型，其中拍卖请求的（随机）发生由泊松过程的跳跃建模，更真实、更灵活。参考文献[1]Amin，K.，Kearns，M.，Key，P.，和Schwaighofer，A.（2012）。赞助搜索的预算优化：MDP中的删失学习。arXiv预印本arXiv:1210.4847。[2] 阿维拉内达，M.，和斯托伊科夫，S.（2008）。在限价指令簿中进行高频交易。定量金融，8（3），217-224。[3] 巴尔塞罗和坎多安（2015）。在线广告中介的最优合约。可通过SSRN 2546609获得。[4] 巴尔塞罗，S.R.，费尔德曼，J.，米罗科尼，V.，和穆图克里希南，S.（2014）。利用广告交换优化展示广告的收益率。《管理科学》，60（12），2886-2907。[5] Barles，G.，和Imbert，C.（2008）。二阶椭圆型积分微分方程：粘度解的理论重温。在《国际卫生规划手册》中，25（3），567-585。[6] Cannarsa，P.，和Sinestari，C.（2004年）。函数，哈密顿-雅可比方程和最优控制（第58卷）。斯普林格科学与商业媒体。[7] Engelbrecht Wiggans，R.（1993年）。重新审视最优拍卖。游戏与经济行为，5（2），227-239。[8] 埃文斯，L.C.（1999）。偏微分方程。

美国数学学会[9]费尔南德斯·塔皮亚，J.（2016）。Vickrey拍卖的统计建模及其在自动竞价策略中的应用。优化信件。[10] 费尔南德斯·塔皮亚，J.（2015）。程序广告中预算调整问题的分析解决方案。技术报告。[11] Fernandez Tapia，J.，Guéant，O.，和Lasry，J.M.（2016）。关于基于性能的程序性广告购买合同的定价。工作文件。[12] Fernandez Tapia，J.，Guéant，O.，和Lasry，J.M.（2016）。实时投标策略，在线学习。工作文件。[13] 盖恩特，O.，莱哈勒，C.A.，费尔南德斯·塔皮亚，J.（2013）。应对库存风险：做市商问题的解决方案。数学和金融经济学，7（4），477-507。[14] 盖恩特，O.，莱哈勒，C.A.，费尔南德斯·塔皮亚，J.（2012）。带限制订单的最优投资组合清算。暹罗金融数学杂志，3（1），740-764。[15] IAB欧洲（2015），2014年欧洲计划性市场规模[16]卡尔森，N.，张，J.（2013年6月）。反馈控制在网络广告中的应用。2013年美国控制大会（ACC）（第6008-6013页）。IEEE。[17] La Offont，J.J.和Maskin，E.（1980）。Vickrey拍卖中的最优预订价格。《经济学快报》，6（4），309-313。[18] 兰伯顿，D.，帕格斯，G.，塔里斯，P.（2004）。什么时候可以信任两臂强盗算法？。《应用概率年鉴》，1424-1454年。[19] 兰伯顿，D.，和帕格斯，G.（2008）。强盗有多快？。随机分析与应用，26（3），603-623。[20] 兰伯顿，D.，和帕格斯，G.（2008）。惩罚强盗算法。电子J.Probab，13341-373。[21]Lee，K.C.，Jalali，A.，和Dasdan，A.（2013年8月）。在线广告中具有平滑预算交付的实时出价优化。第七届网络广告数据挖掘国际研讨会论文集（第1页）。

ACM。[22]斯塔夫罗吉安尼斯，L.C.（2014）。Adexchange中需求方中介机构之间的竞争（南安普顿大学博士论文）。[23]维克雷·W.（1961年）。反垄断、拍卖和竞争性密封投标。《金融杂志》，16（1），8-37。[24]元S（2015）。在线展示广告中的供应方优化（伦敦大学学院博士学位）。[25]袁，S.，和王，J.（2012年10月）。POMDP对相关广告的顺序选择。《第21届ACM国际信息与知识管理会议记录》（第515-524页）。ACM。[26]张文元、袁S、王杰（2014年8月）。最佳实时广告竞价。第20届ACM SIGKDD国际知识发现和数据挖掘会议论文集（第1077-1086页）。ACM。[27]张伟、荣Y、王J、朱T和王X（2016）。实时显示广告的反馈控制。工作文件。