我们使用无U形转弯取样器算法[60]对该模型进行拟合，从模型的后验分布中从两个独立马尔可夫链中的每一个中抽取2000个样本，我们不包括后验样本中每链老化1000个样本。基于Ztand Tweetst后向预测分布的图形考虑（即“眼睛测试”），采样器似乎收敛良好，更重要的是，所有变量的Gelman-Rubin统计量的最大值均满足Rmax<1.01，σZ的最大值Rmax=1.07646除外。这些值中的每一个都远低于Brooksand Gelman倡导的R=1.1的水平【62】。图12显示了该模型的后验分布和后验预测分布图。面板A显示来自后验分布的Xt绘图，以及E[Xt]和logit（Zt），而在面板B中，显示uRand uB的后验绘图，以及E[uR]和E[uB]分别以红色和蓝色的粗曲线显示。在panelC中，我们显示了Tweetstand从其后验预测分布中提取的数据。2016年6月10日，推特显示了一个较大的峰值，这在后验预测分布下是不太可能的。这一峰值很可能与美国联邦ZF今天发表的一项声明相一致，即正式承认俄罗斯ZF有能力入侵民主党国家委员会（Democratic National Committee）的计算机。在推断潜在控制策略和电子过程后，我们搜索理论模型的参数值θ=（λR，λB，σ，ΦR，ΦB），以最好地解释观测数据和推断的潜在变量。为便于参考，我们将理论模型称为Q，贝叶斯结构时间序列模型称为M。我们使用勒让德多项式来近似最终条件Φ和ΦB，如第。

II B 3。设置Φi（x）≈PKk=0aikPk（x），Q的参数向量θ=（λR，λB，σ，a0，R，…，aK，R，a0，B，…，aK，B）。与M相比，Q的自由度相对较少，因为通过解耦合偏微分方程的国家和政策协同进化的假设实质上限制了系统的动力学。Q总共有2K+3个自由参数。K的值越小，与真实最终条件的近似值就越不准确。相反，大K可能导致模型的过度参数化，并增加搜索空间的大小。因此，我们选择K=10作为这两个极端之间的折衷。当K=10时，模型有2K+3=23个自由度。理论模型Q可以看作是一个生成概率函数。为了找到最佳参数值，我们从Q中生成（^uR，^uB，^X），并最小化这些生成值和M推断值的损失函数。我们定义了该损失函数asL（θ| Q）=X（y，^y）hkuy- u^yk+ησ^yi，（49），其中y∈ {uR，uB，X}和^y∈ {^uR，^uB，^X}。我们分别用u和σ定义了相应分布下的平均值和标准偏差。公式49中的“项”惩罚Q偏离M推断后验分布的平均值。公式49中的标准偏差项对离散度施加了惩罚。图12：。面板A显示观察到的选举时间序列的logit（黑色曲线）logit（Zt），以及潜在选举过程Xt的后验分布。PanelB以红色和蓝色粗曲线显示平均潜在控制策略及其后验分布。面板C显示真实的推特时间序列（服从正文中描述的归一化），以及从其后验预测分布中提取的数据。

推特时间序列中的大峰值在后验预测分布下是不太可能出现的，对应于美国在2016年6月10日发布推特的那一天。S、 联邦ZF特别指责俄罗斯入侵民主党全国委员会的计算机。我们使用高斯过程贝叶斯优化算法最小化L（θ| Q）。该算法的细节超出了本工作的范围，但在有关该主题的任何评论文章中都可以找到[63–65]。图13显示了K=10和η=0.002时该优化程序的结果。对于这组超参数，我们发现耦合参数值λR=0.1432和λB=1.7847，潜在空间波动率σ=0.7510。在图13中，我们使用可信区间来表示模型参数估计值的范围。图13的面板A以粗黑曲线显示logit（Zt），以灰色阴影显示Q的80%（10%-90%）可信区间。观察到的logit（Zt）集中在可信区间^X，因此在Q下具有很高的概率。在图B中，我们在厚的红色和蓝色曲线中分别显示了E【uR】和E【uB】，中间80%的可信区间为^Uran和^uR。在民主党全国代表大会结束后的前两周左右，潜在的红色和蓝色控制政策的平均路径不在80%可信区间的中间，但在选举之前的剩余时间内，确实存在这些可信区间。我们的模型能够捕捉到这个时间跨度中间范围内的选举干扰动态，但无法捕捉到竞选成为两位候选人选举后的动态。尽管这次选举在当时确实变成了一场两位候选人的竞争（尽管我们之前对第三党候选人发表了评论），但共和党和民主党初选的影响可能需要时间才能消散。

我们的模型没有捕捉到在许多候选人存在的情况下非合作博弈的动态。我们将在Sec中对此结果进行更多评论。四、 最后，我们在面板C中显示错误的最终条件ΦR（x）和ΦB（x）。13.IV.讨论和结论我们介绍、分析并数值（在简化案例中进行分析）解决非合作战略选举干扰的简单模型。这种干涉是由一个国家（红色）的外国情报机构在另一个国家（蓝色）的选举中进行的。Blue的国内情报部门试图反击这种干扰。虽然简单，但我们的模型能够提供对此类战略互动动态的定性洞察，并在关注2016年U的民意调查和社交媒体数据时表现良好。S、 总统选举竞赛。我们发现，对选举干扰结果的所有或任何态度，即使这些态度仅由一个参与者持有，也会导致双方在干扰和反干扰行动上的支出军备竞赛。然后，当玩家i可信地承诺策略v（t）时，我们找到了玩家i最优控制问题的解析解。我们详细介绍了分析值函数图。13、我们显示潜在选举过程X和红蓝控制策略的可信区间，并使用最优θ=（λR，λB，σ，a0，R，…，aK，R，a0，B，…，aK，B）值生成。我们运行优化算法，将ΦRandΦBset的Legendre展开的项数设置为K=10，并将算法中的方差正则化设置为η=0.002。这导致fit参数λR=0.849，λB=0.727，σ=1.509。面板A显示从Q下的潜在选举过程中提取的数据，以及logit（Zt），logit转换的真实投票流行过程。

面板B显示了Q下的^uRand^uber分布图，而面板C显示了推断的最终条件ΦR（x）和ΦB（x）。只要可以估计玩家i的当前策略及其时间导数，即使玩家i没有承诺特定策略，也可以使用近似值。我们通过观察推特网站上的俄罗斯trollaccount帖子，分析俄罗斯对2016年美国总统选举的干预，证明了我们的模型在实际选举干扰场景中的适用性。利用这些数据以及总统选举民意调查汇总数据，我们推断出俄罗斯和美国控制政策的时间序列，并找到模型中最能解释这些推断出的控制政策的参数。我们表明，在考虑的大部分时间内（民主党全国代表大会之后和选举日之前），我们的模型为推断的变量提供了很好的解释。然而，我们的模型不能准确或精确地捕捉到比赛成为两个候选比赛后的干扰动态。我们的工作有几个方面可以改进。虽然我们的模型是基于在至少一场选举中的节俭和可接受的经验表现而建立的，但我们在构建模型框架时所做的假设是不现实的。虽然AM选举的纯随机游走模型并非没有严重的先例[66]，但这项工作的扩展可以将非干涉相关状态动力学作为公式3的推广。例如，状态方程的读数为dx=[u+ux+uR（t）+uB（t）]dt+σdW。（50）这种状态方程解释了选举结果的简单漂移，因为候选人内生性变得越来越不受欢迎。这也可以解释在激烈竞争的种族中可能出现的意义回复行为。

延长期限可能会带来依赖于国家的运行成本，尤其是在红牌球员的情况下。虽然选举干预的行为名义上是为了让某个候选人获胜或失败，但红色也可能有其他目的，比如破坏蓝色公民对其选举过程的信任。如果某位候选人在民意调查中多次领先，即使该候选人实际上没有赢得选举，瑞德也可能会从中获益。在我们的模型中，这可以通过将Red的成本函数设置为beEuR、uB、XnΦR（XT）+ZT来表示[-Θ(-Xt）+uR（t）- λRuB（t）]dto。（51）这两种修正都很容易纳入模型中，并且不会改变红蓝HJB方程的定性性质，因为它们的作用只是在HJB方程（方程11和12）中引入额外的漂移项（方程50）或连续的、不可区分的源项（方程51）。也就是说，这些方程的基本性质是通过自身和其他参与者第一空间导数的二次项耦合的非线性抛物线方程，但这些对理论的修改没有引入任何新的耦合项，因此这些方程的基本性质保持不变。这些方程的解在加入漂移项或源项的情况下，不会表现出激波或行波行为，正如我们在图中所示。14和15。随着公式50的修改，HJB方程变得-虚拟现实t=（u+ux）虚拟现实x个-虚拟现实x个-虚拟现实x个VBx个-λRVBx个+σ虚拟现实x、 VR（x，T）=ΦR（x）（52）和-VBt=（u+ux）VBx个-VBx个-VBx个虚拟现实x个-λB虚拟现实x个+σVBx、 VB（x，T）=ΦB（x）。（53）在图14中，我们给出了等式的解的示例。52和53，t=0和t=t。这些溶液不显示质量变化，例如冲击波或行波的形成，包括u+u形式的非零漂移项不及物动词x、 我∈ {R，B}。通过公式的修改。

51，瑞德的HJB方程读数-虚拟现实t=-虚拟现实x个-虚拟现实x个VBx个-λRVBx个- Θ(-x） +σ虚拟现实x、 VR（x，T）=ΦR（x）。（54）我们绘制了图15中等式54的解。这些溶液也不会从溶液到Q发生质的变化。11和12，因为没有激波或行波形成【67】。一个更根本的质的变化是扩大Red的干预范围，以改变选举过程的潜在波动性。瑞德的传统目标可能是增加民意调查结果的不确定性。除了理论修正外，其他工作还可以使用类似或更细粒度的数据将这些结果扩展到其他选举。这种方法很难实现，因为关于选举干扰的公共数据很少。我们之所以能够面对我们的modelto数据，只是因为俄罗斯对2016U的干涉。S、 总统选举广为宣传，因为干扰至少部分是通过推特机制进行的，推特是一个公共数据源。对于任何其他公开承认的选举干扰事件，我们无法以每日（或更晚）的时间分辨率找到任何其他公开可用的数据。在2016年美国总统选举的案例研究中，我们的理论模型准确地捕捉到了从民主党全国代表大会后大约两周到选举日的选举干扰动态。然而，在研究的前两周，它并没有准确或精确地捕捉到选举干扰的动态。我们认为这是因为，尽管当时的选举是两位候选人的角逐，但还有其他选举状态和干扰动力学，我们没有建模。我们认为，之所以会出现这种动态，是因为从干涉许多候选人的初选活动到只干涉一场选举竞争的过渡并非立即完成。

外国情报机构可能需要时间重新调整其干预策略。此外，尽管其他候选人在争取加入大选的过程中没有成功，但外国情报局仍可能花费资源来影响其他候选人的支持者。假设最初有NR“红色候选人”（外国情报局希望赢得选举的候选人）和NB“蓝色候选人”（外国情报局不希望赢得选举的候选人）。然后，要模拟国会和大选之间的过渡，就需要将国家方程从NR+NB中分解出来-将二维随机微分方程（SDE）转换为一维随机微分方程。红色和蓝色的成本函数在这一过渡期间可能也会发生变化，但我们不确定如何模拟这一变化。由于状态方程中的降维，耦合的HJB方程将从NR+NB中的PDE求解变为-2个空间维度到在一个空间维度中求解的维度，就像现在一样。我们没有尝试对这些动态进行建模，但这可能是我们模型的有益扩展。我们在分析2016年美国总统选举中的干扰时使用了两个模型。我们使用Bayesian结构时间序列模型来推断潜在的随机变量uR、uB和X，然后使用这些推断值来拟合inSec描述的理论模型的参数。II B.虽然理论模型没有许多自由参数（2K+3=23个自由度），但结构时间序列模型确实有许多自由参数（3T+5=311个自由度）。结构时间序列模型的大量自由参数并不意味着该模型参数过大。在每一次会议上，我们都会观察到一些推特，这些推特代表着候选人Zt的受欢迎程度。

我们想从中了解随机变量uR、t、uB、t和Xt的分布。由于我们想推断这三个随机变量在每一个T时间步的分布，这大量的参数显然是必要的。如果我们观察一个选举过程公开时间步的M个相同试验，则结构时间序列模型参数与观察数据点的比率由r（T，M）=3T+52MT=M给出-1.1+T-1.. （55）T保持不变，R（T，M）→ 0随着M的增长，而M保持不变，R（T，M）→随着T变大。由于我们从选举干扰模型中只观察到一次抽签，在我们的例子中，M=1。然而，这种推断每个随机变量分布的方法在T变得很大时是不可行的，因为F的数量增加了。14、我们证明了等式解给出的值函数缺乏质的变化。52和53，与方程式的溶液进行比较。11和12。我们在实心曲线中绘制Vi（x，0），在虚线中绘制Vi（x，T），i∈ {R，B}。我们在这里设置最终条件为ΦR（x）=tanh x和ΦB（x）=xΘ(-x） 。fit的参数仍然随t线性增长。部分规避此问题的一种方法是使用变分推理方法和随机变量的摊销相结合。用yt表示时间t处所有观测到的随机变量的向量，用wt表示时间t处所有潜在随机变量的向量。变分推理将实际后验分布替换为具有已知归一化常数的近似后验分布（从而消除了MCMC例程计算该常数的需要）[68–70]。通过优化找到了近似后验概率的参数，一般比蒙特卡罗抽样快得多。

如果y=（y，…，yT）和w=（w，…，wT）的联合分布由p（y，w）=QTt=1p（yT | wT）p（wT）给出，则真实后验值由p（w | y）=p（y，w）/p（y）给出。近似（变分）后验值由qθ（w）=QTt=1qθt（wt）给出，其中θ=（θ，…，θt）是通过优化找到的参数向量，qθt（wt）是每个时间步的概率分布。每个qθt（wt）的归一化常数都是已知的。随机变量的摊销意味着，我们没有找到全长Tvectorθ的最佳值，而是将近似后验值建模为qψ（w）=QTt=1q（wt | fψ（yt））[69，71]。向量ψ是（可能是非线性的）函数fψ（·）的参数向量，不与T成比例。函数fψ（·）模拟了随时间变化的参数θ对变分后验值的影响。这是使用优化程序进行的摊销后变分后验检验。由于该模型的参数数量不随时间缩放，因此该模型的公式55变为摊销（T，M）=P2MT，（56），其中P是摊销模型中参数的常量（ψ的维数）。对于固定M，Ramort（M，T）→ 当T变大时为0。我们目前工作的另一个有用的扩展是使用摊销变分推理重新实现我们的贝叶斯结构时间序列模型。这也将消除在Legendre多项式近似中选择“正确”数量的参数的问题，我们在第。三、 致谢作者感谢马萨诸塞特共同人寿保险公司提供的财务支持，并感谢匿名评论员提供的真正有用的评论。图15：。我们证明了方程的解所给出的值函数缺乏质的变化。54当与方程式的溶液进行比较时。11和12。我们在实心曲线中绘制Vi（x，0），在虚线中绘制Vi（x，T），i∈ {R，B}。

我们在此处将最终条件设置为ΦR（x）=tanh x和ΦB（x）=xΘ(-x） 。我们还绘制了蓝色面板C和D的增强HJB方程的解。除了R 7外，该HJB方程与等式54相同→ B和不连续运行成本函数的论证符号相反。[1] 保罗·萨勒诺和弗兰斯·阿姆·范·温登。论选举和意识形态在多党制政府政策中的重要性。在多部件系统的逻辑中，第191–207页。斯普林格，1987年。[2] Jorgen Elklit和Palle Svensson。什么使选举自由和公平？《民主杂志》，8（3）：32–461997年。[3] Dov H Levin。当大国获得投票：大国选举干预对选举结果的影响。《国际研究季刊》，60（2）：189–2022016。[4] 斯蒂芬·舒尔曼和斯蒂芬·布鲁姆。外国干预选举的合法性：乌克兰的反应。《国际研究评论》，38（2）：445–4712012。[5] 丹尼尔·科斯坦奇和尼古拉·马里诺夫。站在其他民族选举的一边：外国干预的两极分化效应。《美国政治学杂志》，56（3）：655–67012。[6] Dov H Levin。大国的党派选举干预：介绍PEIG数据集。《冲突管理与和平科学》，36（1）：88–1062019年。[7] 艾丽卡·D·博尔加德和肖恩·W·洛内根。网络领域的密度建设措施。《战略研究季刊》，12（3）：10–492018年。[8] Dov H Levin。为麻烦投票？党派选举和国内恐怖主义。《恐怖主义与政治暴力》，2018年第1-17页。[9] 伊莎贝拉·汉森和达伦·J·林。打瞌睡民主：通过网络选民干预影响选举。《当代政治》，25（2）：150–1712019年。[10] 约翰内斯·布贝克、凯·杰格尔、尼古拉·马里诺夫和费德里科·纳尼。

为什么国家要干预其他国家的选举？可于2019年SSRN 3435138获取。[11] 阅读米勒报告：可搜索文档和索引：https://www.nytimes.com/interactive/2019/04/18/us/politics/mueller-report-document.html.New《纽约时报》，2019年4月。[12] Charles R Nelson和Charles R Plosser。宏观经济时间序列中的趋势和随机游动：一些证据和启示。货币经济学杂志，10（2）：139–1621982。[13] 大卫·N·德容、约翰·C·南克维斯、尤金·萨文和查尔斯·H·怀特曼。时间序列中的积分与趋势平稳。计量经济学：计量经济学学会杂志，第423–433页，1992年。[14] Crispin W Gardiner。随机方法手册，第3卷。柏林斯普林格出版社，1985年。[15] Peter Jung和Peter H¨anggi。动力系统：auni fied有色噪声近似。《物理评论A》，35（10）：44641987年。[16] 彼得·亨吉和彼得·荣格。动力系统中的有色噪声。化学物理进展，89:239–3261995。[17] 理查德·贝尔曼。动态规划和变分法中的一种新形式。《美国国家科学院院刊》，40（4）：2311954年。[18] 理查德·贝尔曼。动态规划。《科学》，153（3731）：34-371966。[19] Richard S Sutton和Andrew G Barto。强化学习：简介。麻省理工学院出版社，2018年。[20] 希尔伯特·J·卡蓬。随机控制理论、路径积分和强化学习简介。在AIPconference会议记录中，第887卷，第149-181页。AIP，2007年。[21]卡尔·J·阿斯特罗姆。随机控制理论导论。Courier Corporation，2012年。[22]特里丰·T·乔治欧和安德斯·林德奎斯特。随机控制中的分离原理，redux。IEEE自动控制交易，58（10）：2481–24942013。[23]恩斯特·泽梅洛。¨这是schachspiels理论的重要组成部分。

第五届国际数学家大会论文集，第2卷，第501-504页。剑桥大学出版社，英国剑桥，1913年。约翰·纳什。非合作游戏。《数学年鉴》，第286-2951951页。[25]Drew Fudenberg和Jean Tirole。产业组织的非合作博弈理论：介绍和概述。《产业组织手册》，1:259–3271989。[26]Andreu Mas Colell、Michael Dennis Whinston、Jerry RGreen等，《微观经济理论》，第1卷。牛津大学出版社，纽约，1995年。[27]Rainer Buckdahn和Juan Li。Hamilton–Jacobi–Bellman–Isaacs方程的随机微分对策和粘性解。《暹罗控制与优化杂志》，47（1）：444–4752008。【28】Triet Pham和Jianfeng Zhang。弱公式和路径相关Bellman-Isaacs方程中的二人零sumgame。《暹罗控制与优化杂志》，52（4）：2090–21212014。[29]本文中用于重新创建模拟和绘图，或用于创建新模拟和“假设”场景的代码位于https://gitlab.com/daviddewhurst/red-blue-game.[30]有大量关于非参数泛函近似的文献，我们无法在此回顾。这里是这种近似的一个例子。如果{xk}1≤k≤（a，b）的Kisany划分和向量（ΦR（xk），Φb（xk））在R2K上联合分布为高斯分布，然后我们说ΦRandΦBare按照高斯过程[？]分布。虽然这种有限维形式主义在推导理论结果时很有用，但在实践中，我们将通过有限维多元高斯近似这一过程。以秒为单位。III我们实际上近似Legendrepolynomial的ΦRandΦBby有限和，并推断这些多项式的系数作为我们的多元近似。【31】陈明慧、邵启满。贝叶斯可信区间和hpd区间的蒙特卡罗估计。

《计算和图形统计杂志》，8（1）：69–921999。[32]瓦莱里·亚里尼奇。C3：核指挥、控制合作。国防信息中心，2003年。安东尼·巴雷特。假警报，真危险？RANDCorporation文件PE-191-TSF，内政部，2016年10月。[34]Hilbert J Kappen。最优控制理论的路径积分和对称破缺。统计力学杂志：理论与实验，2005（11）：P110112005。[35]马克·科航。关于某些维纳泛函的分布。《美国数学学会会刊》，第65（1）：1–131949年。【36】陈亚明、阿德里安·鲍尔、雨果·杜塞特和沃尔夫拉姆·贾斯特。分段光滑随机微分方程的弱噪声极限。物理评论E，88（5）：0521032013。朱莉·雷菲尔德、凯特林·希尔和安德鲁·罗伯茨。光滑动力系统非光滑极限下鞍行为的持续性。arXiv预印本arXiv:1504.046712015。【38】金泽清、三野智彦、佐川高弘和早川久雄。非高斯噪声下Langevinlike方程的渐近推导及其解析解。《统计物理杂志》，160（5）：1294–13352015。【39】苏菲亚·皮尔茨、劳里·哈哈宁、梅森·波特和菲利普·K·梅尼。在具有线性偏好交易的1捕食-2捕食浮游生物系统中，推断捕食切换的参数。《理论生物学杂志》，456:108–1222018。【40】彼得·坦查克。隐形战线：俄罗斯、巨魔和针对乌克兰的信息战。《当代乌克兰的革命与战争：变革的挑战》，161:2532017。[41]Brandon C Boatwright、Darren L Linvill和Patrick LWarren。巨魔工厂：互联网研究机构和国家赞助的议程建设。

欧洲媒体自由资源中心，2018年。【42】亚当·巴达维、埃米利奥·费拉拉和克里斯蒂娜·勒曼。分析政治操纵的数字痕迹：2016年俄罗斯干涉推特运动。2018年IEEE/ACM社会网络分析与挖掘（ASONAM）国际会议，第258–265页。IEEE，2018年。【43】Ryan L Boyd、Alexander Spangher、Adam Fourney、Besmira Nushi、Gireeja Ranade、James Pennebaker、andEric Horvitz。使用语言分析描述2016年美国总统大选期间互联网研究机构的社交媒体运营。2018年【44】达米安·J·鲁克、娜塔莉·M·赖斯、约书亚·鲍里斯、安德烈·亚历山大·本特利。互联网研究机构Twitteractivity预测2016年美国大选民调。2019年第24（7）号第一个星期一。【45】尼古拉斯·格农·德梅斯纳德和陶希德·扎曼。使用Ising模型检测社交网络中的影响力活动。arXiv预印本arXiv:1805.102442018。【46】简·伊姆、埃什瓦尔·钱德拉塞卡兰、杰克逊·萨金特、佩奇·光锤、泰勒·丹比、安基特·巴尔加瓦、利比·亨菲尔、大卫·尤金斯和埃里克·吉尔伯特。仍然存在：在推特上建模和识别俄罗斯巨魔账户。arXiv预印本arXiv:1901.111622019。【47】亚历山大·沃尔克宁（Alexandria Volkening）、丹尼尔·林德（Daniel F Linder）、梅森（Mason）是一名搬运工，格泽戈兹（Grzegorz）是一名伦帕拉（Rempala）。使用感染的分区模型预测选举。arXiv预印本arXiv:1811.018312018。大卫·罗斯柴尔德。预测选举：比较预测市场、民意调查及其偏差。《公众意见问答》（Public OpinionQuerterly），73（5）：895–9162009。【49】画了一个Linzer。各州总统选举的动态贝叶斯预测。《美国统计协会杂志》，108（501）：124–134，2013年。[50]王伟、大卫·罗斯柴尔德、沙拉德·戈尔和安德鲁·盖尔曼。用无代表性投票预测选举。

《国际预测杂志》，31（3）：980–9912015。【51】数据可在以下网址下载：https://github.com/fivethirtyeight/russian-troll-tweets/.【52】拉明·斯基巴。民意调查者难以解释美国邮政住宅预测的失败。《自然新闻》，539（7629）：3392016。[53]Ryan Neville Shepard。受制于二元性：2016年总统大选中的第三党主叙事。《美国行为科学家》，61（4）：414–4272017。【54】数据可在以下网址下载：https://www.realclearpolitics.com/epolls/2016/president/us/general_election_trump_vs_clinton_vs_johnson_vs_stein-5952.html.大卫·巴伯（DavidBarber）、泰兰·塞姆吉尔（TaylanCemgil）和西尔维亚·基帕（SilviaChiapa）。贝叶斯时间序列模型。剑桥大学出版社，2011年。【56】Agner Krarup Erlang。Sandsynlighesreging og telefonsamtaler。《纽约时报》（Nyt Tidskrift for Matematik），20:33–391909年。【57】乔治·拉什。泊松过程作为多种行为现象的模型。1963年，国际心理学大会第2卷第2页。大卫·R·考克斯。回归模型和生命表。《皇家统计学会期刊：B辑（方法学）》，34（2）：187–202，1972年。大卫·罗克斯比·考克斯和瓦莱丽·伊莎姆。点过程，第12卷。CRC出版社，1980年。【60】马修·德霍夫曼和安德鲁·盖尔曼。NoU Turn采样器：在哈密顿蒙特卡罗中自适应设置路径长度。《机器学习研究杂志》，15（1）：1593–16232014。[61]Andrew Gelman，Donald B Rubin，et al.使用多序列的迭代模拟推断。统计科学，7（4）：457–4721992。斯蒂芬·布鲁克斯和安德鲁·盖尔曼。用于监视迭代模拟收敛的一般方法。《计算与图形统计杂志》，7（4）：434–4551998。[63]埃里克·布罗库、弗拉德·科拉和南多·德弗雷塔斯。研究代价函数的贝叶斯优化，并将其应用于主动用户建模和分层强化学习。

arXiv预印本arXiv:1012.25992010。【64】Bobak Shahriari、Kevin Swersky、Ziyu Wang、Ryan PAdams和Nando De Freitas。把人从循环中解放出来：贝叶斯优化综述。IEEE会议记录，104（1）：148–1752015。【65】彼得一世·弗雷泽。贝叶斯优化教程。arXiv预印本arXiv:1807.028111918。【66】纳西姆·尼古拉斯·塔勒布。作为鞅的选举预测：套利方法。《定量金融》，18（1）：2018年1-5月。【67】使用HJB integrator红蓝PDE。py包含在代码中https://gitlab.com/daviddewhurst/red-blue-game，读者可以进一步研究漂移和运行成本条件的变化对耦合HJB系统解决方案定性性质的影响。【68】马修·德霍夫曼（MatthewD Ho ffman）、大卫·M·布莱（DavidM Blei）、王冲（Chong Wang）和约翰·佩斯利（JohnPaisley）。随机变分推理。《机器学习研究杂志》，14（1）：1303–13472013。Danilo Jimenez Rezende和Shakir Mohamed。规范化流程的变分推理。arXiv预印本XIV:1505.057702015。[70]David M Blei、Alp Kucukelbir和Jon D McAuli Off e.《变分推理：统计学家评论》。《美国统计协会杂志》，112（518）：859–8772017。【71】张诚、朱迪思·布泰帕奇、赫德维格·克耶尔斯特伦和斯蒂芬·曼德。变分推理的进展。IEEEtransactions on pattern analysis and machine intelligence，2018年。附录A：耦合参数扫描我们在耦合参数λRandλb的不同值上对红色和蓝色最终条件的多种组合进行了参数扫描。为此，我们集成了EQ。11和12表示λR，λB∈ [0，3]对于最终条件ΦR（x）的3=9个组合中的每一个∈ {x，2 tanh x，Θ（x）- Θ(-x） }（A1）和ΦB（x）∈x、 xΘ(-x） ，2[Θ（| x |- ) - Θ( - |x |）].（A2）我们整合了EQ。11和12表示Nt=8000时间步，设置t=0，t=1年。

我们在区间x上施加Neumann边界条件∈ [-3，3]，并将空间步长设置为dx=0.025。在积分之后，我们从控制策略的概率分布中画出1000条路径u（n）Rand u（n）b。（由于控制策略是由ITO随机微分方程等式3定义的随机变量的确定函数，因此该概率分布是一个时间相关的多元高斯分布。）然后，我们计算了这些控制政策的跨期平均值和标准差，我们用平均值（ui）=T NNXn=1ZTu（n）i（T）dt（A3）和标准差（ui）=vutt NNXn=1ZThu（n）i（T）表示- i的平均（ui）idt，（A4）∈ {R，B}。我们以秒为单位显示平均控制策略。A 1和Sec中控制策略的标准偏差。A 2.1。ui（t）的期望值我们显示了从解决方案生成的控制策略分布到方程的平均路径。11和12。图16：。参数扫描耦合参数λR，λB，红色最终条件ΦR（x）=x，蓝色最终条件ΦB（x）=xΘ(-x） 。颜色的强度对应于控制策略的平均值。图17：。参数扫描耦合参数λR，λB，红色最终条件ΦR（x）=x，蓝色最终条件ΦB（x）=2[Θ（| x |- 0.1) - Θ(0.1 - |x |）]）]。颜色的强度对应于控制策略的平均值。图18：。参数扫描耦合参数λR，λB，红色最终条件ΦR（x）=x，蓝色最终条件ΦB（x）=x。颜色强度对应于控制策略的平均值。图19：。参数扫描耦合参数λR，λb，红色最终条件ΦR（x）=2[Θ（x）- Θ(-x） ]和蓝色最终条件ΦB（x）=xΘ(-x） 。颜色的强度对应于控制策略的平均值。图20：。参数扫描耦合参数λR，λb，红色最终条件ΦR（x）=2[Θ（x）- Θ(-x） ]和蓝色最终条件ΦB（x）=2[Θ（| x|-0.1)-Θ(0.1-|x |）]）]。

颜色的强度对应于控制策略的平均值。图21：。参数扫描耦合参数λR，λb，红色最终条件ΦR（x）=2[Θ（x）- Θ(-x） ]和蓝色最终条件ΦB（x）=x。颜色强度与控制策略的平均值相对应。图22：。参数扫描耦合参数λR，λB，红色最终条件ΦR（x）=tanh（x），蓝色最终条件ΦB（x）=xΘ(-x） 。颜色的强度与控制策略相对应。图23：。参数扫掠耦合参数λR，λB，红色最终条件ΦR（x）=tanh（x），蓝色最终条件ΦB（x）=2[Θ（| x|-0.1)-Θ(0.1-|x |）]）]。颜色的强度对应于控制策略的平均值。图24：。参数扫描耦合参数λR，λB，红色最终条件ΦR（x）=tanh（x），蓝色最终条件ΦB（x）=x。颜色强度对应于控制策略的平均值。2、ui（t）的标准差我们显示从解决方案到QS生成的控制策略分布中提取的标准差。11和12。图25：。参数扫描耦合参数λR，λB，红色最终条件ΦR（x）=x，蓝色最终条件ΦB（x）=xΘ(-x） 。颜色的强度符合控制政策的标准。图26：。参数扫描耦合参数λR，λB，红色最终条件ΦR（x）=x，蓝色最终条件ΦB（x）=2[Θ（| x |- 0.1) - Θ(0.1 - |x |）]）]。颜色的强度与控制策略的标准相对应。图27：。参数扫描耦合参数λR，λB，红色最终条件ΦR（x）=x，蓝色最终条件ΦB（x）=x。颜色强度对应于控制策略的标准。图28：。参数扫描耦合参数λR，λb，红色最终条件ΦR（x）=2[Θ（x）- Θ(-x） ]和蓝色最终条件ΦB（x）=xΘ(-x） 。颜色的强度与控制策略的标准相对应。图29：。

参数扫描耦合参数λR，λb，红色最终条件ΦR（x）=2[Θ（x）- Θ(-x） ]和蓝色最终条件ΦB（x）=2[Θ（| x|-0.1)-Θ(0.1-|x |）]）]。颜色的强度对应于控制策略的标准。图30：。参数扫描耦合参数λR，λb，红色最终条件ΦR（x）=2[Θ（x）- Θ(-x） ]和蓝色最终条件ΦB（x）=x。颜色强度与控制策略的标准相对应。图31：。参数扫描耦合参数λR，λB，红色最终条件ΦR（x）=tanh（x），蓝色最终条件ΦB（x）=xΘ(-x） 。颜色的强度对应于控制策略的TD。图32：。参数扫掠耦合参数λR，λB，红色最终条件ΦR（x）=tanh（x），蓝色最终条件ΦB（x）=2[Θ（| x|-0.1)-Θ(0.1-|x |）]）]。颜色的强度与控制策略的标准相对应。图33：。参数扫描耦合参数λR，λB，红色最终条件ΦR（x）=tanh（x），蓝色最终条件ΦB（x）=x。颜色强度对应于控制策略的标准。