条件最优停止：一种时间不一致的优化

2022-6-14 03:40:45

条件最优停止：时间不一致的优化Marcel Nutz*张玉冲+2019年10月15日根据P.-L.Lions最近关于条件最优控制的工作，我们引入了一个基于理性的最优停止问题：目标是在另一个事件的条件下，停止时的预期收益。例如，代理人可能只关心停止时她还活着的州，或者公司可能以不破产为条件。我们观察到，由于条件可能性的动态变化，条件优化是时间不一致的，并本着R.H.Str otz在离散时间内对复杂代理所做工作的精神，开发了一种均衡方法。研究发现，在有限时间范围内，均衡本质上是唯一的，而在有限时间范围内，均衡会导致非唯一性和其他有趣的现象。我们还引入了一个理论，通过考虑一对具有Snell型性质的过程，推广了经典的Snell包络最优停止方法。条件最优停车；时间-不一致性；平衡2010主题分类60G40；93E20；91A13；91A151简介经典的最优停车问题是在所有停车时间τ上最大化预期收益[Gτ]，其中G=（Gt）是给定的自适应过程。在本文中，我们建议研究一个标准，即在τ：supτE[Gτ{τ]时未达到给定停止时间σ的条件σ} ]P（τ σ）其中τ σ <=> τ<σ或σ=∞. (1.1)*部门。哥伦比亚大学统计与数学系，mnutz@columbia.edu.Research由阿尔弗雷德·P·斯隆奖学金和NSF拨款DMS-1812661资助。MNis感谢Pierre Louis Lions和Abdoulaye Ndiaye的有益讨论。+部。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:40:48

多伦多大学统计科学系，余冲。zhang@utoronto.ca.When该模型基于马尔可夫链X，σ的自然选择是给定集合B的第一次退出时间。例如，如果停止决策是由一家公司做出的，一个应用是X在B中表示solvencysoσ是破产时间。事实上，公司可能只关心停止支付发生在σ之前的州，因为公司在其他州不再存在。或者，对于做出财务决策的个人来说，σ可能是死亡时间，那么模型表示，她只关心她活着时支付发生的状态。通常不可能将此类条件问题建模为一个类最优停止问题，除非在条件事件不依赖于停止时间τ的普通情况下。经典的f框架要求我们将其建模为退出时间问题，其中为退出事件指定了一个特定的f（即GTT的值≥ σ). E、对于可能面临死亡的人，我们不能简单地说：“我不关心死后会发生什么。”相反，我们必须在死亡时指定特定的报酬。即使建模者为了“务实”愿意确定一些价值，也很难做出合理的选择，优化的解决方案通常取决于此。本文的灵感来自P.-L.Lions最近的工作，该工作介绍了条件过程的最优控制。在这里，主要的例子是控制布朗运动的漂移，而支付取决于给定域内的过程。该问题被转化为福克-普朗克方程的最优控制问题，这是一种通过最终条件耦合的特殊类型的平均场博弈问题。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:40:51

对域趋向于Rd的经典情况的限制给予了特别关注。虽然观察到最优控制取决于起点，但没有提出时间一致性问题。在本文中，我们介绍了一个据我们所知的具有条件的最优停止问题。我们的一个初步观察结果是，从Strotz的角度来看，问题是时间不一致的【29】：如果一个代理在时间t=0时确定了一个最佳策略，并在以后考虑到她的当前状态重新考虑她的决定，她可能会反驳她之前的决定，并发现她的策略不再是最佳的。在这种动态规划原理不适用的设置中，有不止一个优化的概念。预先提交的问题是在t=0的情况下优化预期的支付效果，假设该决策稍后不会受到质疑；i、例如，代理“承诺”初始选择。（参考文献[25]的理论与这个概念相对应。）用斯特罗茨的术语来说，一个没有承诺装置的老练的代理人意识到她的“未来自我”可能会推翻她目前的计划。因此，她将此视为“一致计划策略”的约束：他选择她的行为，而忽视她知道自己未来不会执行的计划；也就是说，她选择了一种行为，这样她未来的化身就不会有偏离的动机。由此产生的时间一致性策略被称为子博弈完美纳什均衡，这是我们将重点关注的概念。不同的解释遵循代际模型或重叠代际模型的文献（见[28]及其后的工作），其中未来的决策由下一代而不是其他人自己做出。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:40:54

例如，政府机构可能希望考虑到未来的总统任期和在下次选举后不会逆转的选择或政策。除了自身有趣之外，条件停止也可能有助于阐明过程的条件控制，因为最优停止通常比控制更容易处理。1.1文献继[29]的早期工作之后，经济学中出现了大量涉及时间不一致的文献。例如，[27]重新考虑了Strotz的概念，即当决策点的数量发生变化时，采用非指数折扣进行设定，并且[26]研究了随时间变化的偏好。非标准折扣（尤其是双曲线）和时间偏好（如习惯形成）是本文献中时间不一致的最常见原因；有关概述，请参阅[14]。这些模型大多是在有限或有限时间范围内的离散时间内制定的。当优化目标涉及期望的非线性函数时，也会出现时间不一致性，如[2]中的均值-方差准则，或[1、15、23]中的概率扭曲。（概率失真对应于一个优化目标，该目标过度强调或低估了事件相对于其目标概率的重要性。）[10，11]的开创性工作启动了关于如何定义和获得均衡策略以实现连续时间过程的最优控制的研究，当规划师使用非经验贴现时，以拉姆齐问题为例。在连续设置中，及时更改单个实例的控件是没有意义的，因为它不会影响差异。作者开发了一个一阶标准，对应于短时间间隔内控制的变化，这意味着代理可以在短时间内承诺。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:40:57

这导致了许多工作，包括具有非指数贴现的投资组合优化【12，13】、平均方差投资组合选择【5，8】和一般线性-二次控制【16，17】。然而，这种平衡的概念并不是唯一可能的；特别是，一阶条件通常不足以实现最优性。最近的研究[21]引入了一个更强的最优性概念，并强调了它们之间的差异。在[3，4]中，作者分别研究了离散时间和连续时间中的时间不一致控制，以及它们之间的关系，这类目标是预期效用和预期效用的非线性函数之和，可能依赖于初始条件。关于依赖于initialcondition的连续时间框架，另请参见[31]。本文最接近的参考文献是[22]，作者研究了阿马尔科夫环境下非指数贴现下离散时间的最优停止。在有限水平的情况下，向后递归产生了唯一的平衡。在有限视界的情况下，作者关注的是时间齐次马尔可夫链。在减少不耐烦（包括双曲线贴现）的假设下，通过迭代“战略推理”或“实际游戏”图构建时间齐次均衡（参见第2.1节中的Φ）；也就是说，每个代理都会优化其在继续和停止之间的决策，同时根据所有其他代理的决策进行决策。值得注意的是，可以获得对所有试剂都是最优的平衡。我们注意到【22】早于【18】，其中迭代方法首次在连续时间内实现。在[18]中，对于时间均匀差异，获得了时间均匀平衡；对于时间不均匀差异，获得了非均匀平衡。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2022-6-14 03:41:01

关于连续时间内最优平衡的讨论，另请参见【20】；关于最近关于非指数折扣最优停止的研究，其中可能不存在平衡，而这一事实与平滑粘贴失败有关。文献[19]研究了概率失真下的最优停止，特别关注通过从天真策略迭代获得的平衡。上述关于连续时间最优停止的工作使用与离散时间情况的直接类比来确定平衡：每个代理可以停止或继续，而无需任何承诺装置。事实上，为了达到最佳停车效果，[10]中的一阶方法并不是必须的：在一个实例中及时停车的决定会立即影响该过程。另一方面，正如[9]在前景理论的背景下所强调的，不连续时间的定义可能包括不合理的均衡，这是基于这样一个事实，即如果后续代理的top和G是连续的，则对于时间t代理的继续和停止产生相同的回报。特别是，“总是s打顶”是一种平衡，即使G在增加。在齐次差分模型中，[6，7]使用一阶条件确定两个时间不一致问题的平衡，然后“总是停止”不一定是非平衡。迄今为止，这两个定义之间的关系尚未明确。据我们所知，本文是对条件最优停止的首次研究。关于条件过程的控制，我们想提及R.Carmona和M.Laurière正在进行的工作，其中[25]的问题被研究为开环和闭环控制的平均场控制问题，以及Y.Achdou和M正在进行的工作。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:03

Laurière关于数值分辨率。1.2 Synopsis我们研究（1.1）中在有限或有限时间范围内离散时间设置下的条件最优停止问题。虽然连续时间设置可能很有意义，但我们的选择避免了上一节提到的一些困难，并导致对均衡的无争议定义：在每个时间和状态（t，ω），代理都会做出一个简单的选择，即停止或继续，而不提交未来的代理。我们在一个一般的随机框架中分析这种均衡，同时特别关注马尔可夫环境。在有限时间范围T的情况下，存在一个自然终止条件（在T处必须停止），我们将看到存在一个可以通过向后递归构造的平衡点。这种递归计算两个过程，一个与经典情况类似的值过程和一个额外的“生存过程”，它跟踪未来自我决策所诱导的条件概率。均衡本质上是唯一的，如果随机框架是马尔可夫的，那么均衡也是唯一的。这些发现与第1.1节中描述的其他时间不一致问题的结果一致。在有限视界的情况下，我们通过传递到有限视界问题的极限，提供了一个相当普遍的存在结果。（请注意，对于非经验折扣，如果折扣不能满足日益减少的不耐烦，则存在可能失败；参见[22，示例3.1]。）另一方面，我们还提供了示例，表明这种情况比之前的情况更微妙。我们将看到，在马尔可夫环境中，除了马尔可夫平衡外，还可能存在非马尔可夫平衡，这推翻了关于我们问题的一个猜想。此外，即使在马尔可夫平衡类中，平衡也不一定是唯一的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:06

更令人惊讶的是，我们详述了一个时间均匀马尔可夫例子，它不承认时间均匀平衡，而时间不均匀平衡确实存在。这与[18，22]的结果形成了鲜明的对比，并且说明了对于我们的问题，一般来说，迭代[22]的“战略推理”图不会收敛。在技术层面上，一个原因是，非指数贴现（如[22]中所述）保持了动态规划原理的一个不等式。在我们的问题中，由于条件概率的重新缩放可能会导致两个方向的偏差。在我们的环境中，寻求经典斯内尔包络理论的类似物似乎很自然。事实上，在有限时间范围递归中描述的两个过程可以用更抽象的术语通过超鞅性质来描述。这就产生了一个概念，我们称之为斯内尔对，并延伸到有限的地平线设置。斯奈尔对与平衡呈一元关系。与经典情况类似，通过在值过程遇到障碍G的地方停止，从Snell对中检索平衡策略，但需要生存过程来调整条件作用下的经典超鞅性质。反过来，Survival进程也具有超级马丁的特性。我们不了解先前文献中的类似概念。本文的其余部分组织如下。在第二节中，我们详细介绍了时间不一致性的观察结果和均衡概念。第3节介绍了有限地平线案例的结果。第4节介绍了有限层内平衡的存在情况，第5节介绍了相应的示例。最后的第6节讨论了斯内尔对及其与平衡的关系。2设置let T∈ N∪ {∞} 成为时间范围。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:09

如果T<∞, 集合T={0，1，2，…，T}；ifT=∞, 设置T=N。我们将在概率空间上工作(Ohm, F、 P）配备过滤（Ft）t≤这太微不足道了。设σ为P（σ>0）=1的停止时间；我们认为σ之后发生的事件是不相关的，并将Dt：={t<σ}称为时间t的相关域∈ T、案例中=∞, 设置D很方便∞:= ∩t型∈TDt={σ=∞}. 我们可以注意到σ（ω）=inf{t∈ T：ω/∈ Dt}；实际上，指定σ等同于指定递减适应序列（Dt）t∈Twith P（D）=1。下面，公约inf = ∞ 已使用。最后，设G=（Gt）t≤Tbe描述在时间t停止的支付的自适应过程。Toutside dt的值无关紧要；我们设置Gt= 在DCT上进行标记，其中是具有0·· = 我们认为≤T | Gt | 1Dt]<∞. 由于我们对严格在σ之前发生的事件感兴趣，包括σ从未发生的情况，因此引入符号将非常有用 t型<==> s<t或t=∞ 对于s，t∈ [0, ∞].然后，我们可以在初始时间考虑预先提交的最优停止问题，Vpre=supτ≤T，P（τσ） >0E[Gτ{τσ} ]P（τ σ). （2.1）注意，上确界仅在停止时间τ上运行，避免对空集进行条件化，并且此类时间集始终包括τ≡ 示例2.1（马尔可夫设置）。设X是一个马尔可夫链，其值在可分度量空间X中，从X=X开始，设B X是一个可测子集，包含X且设σ=inf{t≥ 0:Xt/∈ B} 是B的第一个退出时间。然后，我们的模型要求我们只评估X轨迹位于B直到停止时间τ的世界状态。对于确定性函数g和贴现因子δ，支付的一个可能特征是Gt=δtg（t，Xt）∈ (0, 1].

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:12

更一般地，集合B可以是时间相关的。当σ=∞. 但一般来说，定义τ的预期收益的条件取决于τ本身，因此它不能简化为经典的停止问题。2.1均衡以下示例说明优化问题（2.1）是时间不一致的，因为今天的最优停止策略在将来可能不是最优的；也就是说，如果她用一个有条件的标准重新考虑未来的战略，她可能会反驳她以前的决定。示例2.2。考虑一个具有Ohm = {uu，ud，du，dd}如图1所示，其中u代表向上，d代表向下。每个边上的条件概率为1/2，每个节点上的数字表示结果。相关域包括除dd以外的所有状态；i、例如，虚线表示域中的ex-it。由于该模型中只有五个不同的停止时间，once可以轻松计算所有可能的支付，并观察到（2.1）的唯一优化器是停止时间τpre，其中τpre（uu）=τpre（ud）=1，τpre（du）=τpre（dd）=2。也就是说，图1：示例2.2的二叉树。如果我们在第一步中向上移动，最好在t=1处停止，否则att=2。获得的收益用实心点表示，相关值为Vpre=10·+2·=。接下来，考虑一个年龄nt的类似优化问题，该年龄nt有条件地在t=1的下降状态下开始求解问题。该代理只有两种选择，要么立即停止支付3，要么等待到地平线并获得2的预期奖励（因为预期的条件是留在域内）。因此，该代理倾向于停止，这与τpre不一致。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:15

总之，如果第一代理解决了（2.1）问题，并使用自然条件标准重新考虑了自己在下降状态下t=1的策略，她将推翻之前的决定。在本文的其余部分中，我们将重点讨论[29]意义上的一个未承诺的复杂代理（参见[24]，了解最近一篇研究其他方法的论文）。她在不同的时候都会想到自己的“未来自我”，并指出其他代理人会在后续决策被视为给定时优化他们的选择。因此，我们寻求一种未来自己不会超越的政策。策略是一组二元决策（停止或继续），每个时间和状态对应一个决策，而均衡是一种没有发现任何代理偏离的策略。在将其形式化之前，让我们观察一下，每个代理都面临着不限制空事件的约束。也就是说，如果继续将导致在下一步中退出域的概率为1，则任何代理都将被迫停止。因此，问题具有（随机）有效时间范围：=T∧ inf{0≤ t<t:P（Dt+1 | Ft）=0}。下面将[18，22]的基本概念适用于我们的条件停止问题（而不是非指数折扣），并将其扩展到非马尔可夫环境。定义2.3。stoppin g策略是{0，1}值的适应过程θ=（θt）t∈T、我们将θT（ω）=1解释为（T，ω）选择停止的代理，而θT（ω）=0解释为继续。我们还引入了连续停止时间tθ=inf{s>t：θs=1}；这是一个决定继续的时间t代理由θ引起的停止时间。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:19

停止策略θ称为容许ifP（Ltθ t<t时σ| Ft）>0，t时θt=1≥ Te。我们用Θ表示所有可容许停止策略的集合。可容许性意味着t<tE的每个time-t代理都有一个明确的连续值jt（θ）=E[GLtθ{Ltθσ} | Ft]P（Ltθ σ| Ft），t<Te。当然，他会将Jt（θ）与她的停止值gt进行比较，并选择较大的值，或者如果它们相等，则她是不变的。（t=TEA的代理被强制停止，因此没有要做出的决定。θtfort>TEI的值不重要，仅针对特定的情况设置为1。）如果我们从θ开始∈ Θ和所有代理同时根据该偏好更新其选择，同时使用不变代理坚持其先前存在的决策的约定，我们得到更新的停止策略Φ（θ）t=1如果t<Teand Gt>Jt（θ），θtif t<Teand Gt=Jt（θ），0如果t<Teand Gt<Jt（θ），1如果t≥ Te。定义2.4。如果Φ（θ）=θ，则允许的停止策略θ是均衡（停止策略）。这一概念对应于子博弈的完美纳什均衡：如果未来代理人的选择被视为给定的，则每个代理人的行为都是最优的。示例2.5。考虑示例2.2的设置。在任何可容许停止策略中，time-2代理都必须因时间范围而停止。然后，两个time-1代理都倾向于停止，因为它们的停止值（10和3）超过了预期的连续值（3和2）。根据这些决定，time-0代理的预期连续值为（10+3）/2，超过了停止值2。很容易得出，唯一的均衡停止策略由θ=0，θ给出≡ 1和θ≡ 1、time-0代理的诱导停止时间为τ≡ 1.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:22

这与示例2.2中预先提交的最佳停止时间τpreo不同，相关预期回报（10+3）/2小于预先提交的价值函数Vpre。在马尔可夫链环境中，停止策略的自然子集也是马尔可夫形式。用σ（Y）表示由随机变量Y生成的σ-场，其形式化如下。定义2.6。考虑示例2.1中的马尔可夫设置。停止策略θ∈ 如果θtisσ（Xt，1Dt）-可测量所有t∈ T、如果θ是容许的，这等价于可测子集的存在 X使得θt=1{Xt∈Rt}∪Dct。请注意，这种平衡实际上是通过Dt的路径依赖性，但这是与我们对可容许性的一般定义相一致的最小路径依赖量。在马尔可夫环境中，可以假设所有出口状态（B之外的状态）都是吸收的，而不损失一般性。那么，我们有dt={Xt∈ B} 我们可以要求θtis（a.s.）σ（Xt）-可测量。3有限水平平衡在本节中，我们讨论T<∞.在经典的最优停止问题中，时间t agent的值函数和最优决策完全由时间t+1时agent的值函数决定。这一事实是动态规划的反向递归和斯内尔包络理论的核心。然而，在手头的问题中，计算连续值Jt（θ）时的条件事件取决于许多未来自我的决定，而不仅仅是t+1时的决定。这建议引入一个额外的过程来跟踪条件反射事件的概率，给出所有未来自我的最高政策；我们称之为生存过程，因为它与生存概率有关。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:24

在下面的定理3.1中，我们提供了一个向后递归来构造平衡；其Jt（θ）的递推公式类似于经典情况，即t+1时的值过程的条件期望，但现在该期望是在使用标准化生存过程asa密度获得的新度量下计算的。就像经典的最优停止一样，当代理不变时，会出现一种类型的非唯一性；也就是说，当stopping和continuationvalue恰好相等时：Jt（θ）=Gt。因此，构建均衡的算法必然伴随着特定的选择。下面所述的理论使用了早期停止偏好，这意味着不变量代理选择停止，并产生了与该偏好的唯一平衡。在经典设置中，这与Snellenvelope第一次碰到障碍物相对应。一般来说，停止偏好是一个具有二进制值的自适应过程，在不变性的情况下为每个（t，ω）定义选择。对于每个这样的偏好，可以编写一个类似于定理3.1的算法，它提供了该偏好的唯一平衡。相反，每一个有限水平平衡都是这样产生的。定理3.1。让T<∞ 回想一下，Gt= 在Dct上。定义valueprocess（Vt）t≤生存过程（St）t≤下面是助教。设置VT=GT和ST=1DT。对于t=t- 1.0，设置JT=E[St+1Vt+1 | Ft]E[St+1 | Ft]如果t<Te，Vt=Gt，如果t<t且Gt，则St=1≥ Jt，Vt=Jt，St=E[St+1 | Ft]如果t<Teand Gt<Jt，Vt=Gt，St=1Dtif t≥ Te。那么θ：=1{Gt≥Vt}是偏好提前停止的唯一平衡。在第6节中，我们将（V，S）称为Snell对，并讨论它与Snell信封的连接。还将提供一个包括最终地平线情况在内的概括。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:27

尽管如此，我们还是选择在本节中对有限层进行基本和独立的处理。定理3.1的证明。我们在下面的引理3.2中表明θ是可容许的，并且Jt与θ的延拓值Jt（θ）一致。一旦确定，θ的定义表明θ=1{Gt≥Vt}=（如果t<Teand Gt<Jt（θ），则为0，否则为1，因此θ是具有提前停止偏好的均衡停止策略。另一方面，在TEAN的边界条件和一个反向感应流下，我们可以看到至多有一个这样的平衡。引理3.2。在定理3.1的设置中，θ是可容许的，且Jt=Jt（θ），t<Te，E[St+1 | Ft]=P（Ltθ σ| Ft），t<Te，（3.1），对于t≤ 我们没有=P（Ltθ Dt上的σ| Ft）∩ {θt=0}，1在Dt上∩ {θt=1}，Dct上为0。证据我们首先检查θ是否允许。实际上，对于t，我们有θt=1≥ Te，如果t<Te，则反向归纳表明P（Ltθ σ| Ft）>0。接下来，我们证明了St的公式。最后两种情况从定义上看是清楚的。因此，我们重点显示St=P（Ltθ Dt上的σ| Ft）∩ {θt=0}。对于t≥ θt=1，因此无需证明。对于t<Teweargue，通过感应。事实上，使用归纳假设获得下面的（a），St=E[St+1 | Ft]（a）=EDt+1{θt+1=0}P（Lt+1θ σ| Ft+1）+1Dt+1{θt+1=1}·1+1Dct+1·0英尺（b） =E[P（Ltθ σ| Ft+1）| Ft]=P（Ltθ σ| Ft），其中（b）保持正上方（Ltθ σ| Ft+1）=P（Lt+1θ σ| Ft+1）在Dt+1上∩ {θt+1=0}，1在Dt+1上∩ {θt+1=1}，Dct+1上的0。（3.2）在最后一个恒等式中，第一种情况成立，因为θt+1=0意味着Ltθ和Lt+1θ一致。第二种情况成立，因为θt+1=1意味着Ltθ=t+1和t+1<Dt+1上的σ。最后，在Dct+1上，我们有σ≤ t+1≤ Ltθ。我们注意到，（3.1）是作为上述第一次展示的一部分获得的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:30

它仍然表明jt（θ）≡E[GLtθ{Ltθσ} | Ft]P（Ltθ σ| Ft）=E【St+1Vt+1 | Ft】E【St+1 | Ft】≡ Jt，t<Te。由于分母为非零且符合（3.1），因此必须显示[GLtθ{Ltθσ} | Ft]=E[St+1Vt+1 | Ft]，t<t.（3.3）的确，（3.3）对于t是明确的≥ 这意味着P（Ltθ σ) = 0. t=t也很清楚- 1、对于t<Te∧ （T- 1）我们用反向归纳法进行论证。我们首先观察到，通过下面（3.2）的类似论点，GLtθ{Ltθσ}=GLt+1θ{Lt+1θσ} 在Dt+1上∩ {θt+1=0}，Vt+1=St+1Vt+1on Dt+1∩ {θt+1=1}，0=St+1Vt+1 on Dct+1。（3.4）在集合Dt+1上∩ {θt+1=0}发生在（3.4）的第一种情况下，我们有[GLt+1θ{Lt+1θσ} | Ft+1]=E[St+2Vt+2 | Ft+1]=St+1Jt+1=St+1Vt+1，其中三个等式分别来自归纳假设、Jt+1和St+1的定义以及Jt+1=Vt+1 on{θt+1=0}。因此，我们可以取（3.4）中的条件期望，并得到恒等式E[GLtθ{Ltθσ} | Ft+1]=St+1Vt+1适用于所有地方。该塔的财产产生了索赔（3.3），证明是完整的。推论3.3。在示例2.1的马尔可夫设置中，T<∞, 存在一个偏好提前停车的独特均衡，该均衡是马尔可夫均衡。证据我们观察到，GT和Vtin定理3.1对于所有t都是σ（Xt，1Dt）-可测量的，然后θt也是可测量的。可以注意到，在上述结果中，停止偏好很重要：通过指定路径依赖的停止偏好并将奖励函数GT设为常数，很容易构造非马尔可夫平衡的示例。4有限期均衡：存在性以下结果表明，在包含具有可数状态空间的马尔可夫链的情况下，存在有限期均衡。定理4.1。假设Ftis a.s.对所有∈ T和thatlimt→∞Gt=克∞a、 s。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:33

此外，假设P( t型∈ T：Gt≥ 0）>0且存在c>1，使得（ctGt）t≥0从上方一致有界。（4.1）则存在平衡。在陈述证据之前，让我们对假设进行评论。备注4.2。（a）条件（4.1）特别涵盖了具有次指数增长的支付函数的贴现问题。考虑示例2.1的马尔可夫链设置，其中有一个有界且非负的支付函数g（t，x）和一个贴现因子δ∈ (0, 1). 然后设置gt=t的δtg（t，Xt）∈ T（和G∞= 0），我们发现（4.1）满足anyc∈ (1, δ-1).（b）下面定理4.1的证明有三个步骤。限制停止策略θ的构造及其最优性条件的验证根本不需要（4.1）。后者用于确保θ是可容许的。还有许多其他情况下，可接受性保持不变，包括无折扣，可根据具体情况确定，例如具有有限状态空间和齐次报酬gt=g（Xt）的马尔可夫链的情况。条件（4.1）仅仅是编写简单而公平的一般结果的一种方法。当然，σ=∞ a、 s始终是p（τ）的有效条件 σ） 6=0，对于任何停止时间τ。（c）类似地，在许多情况下，可以直接从G的附加结构看出Ltθ<∞ a、 s.适用于所有t∈ T、在这种情况下，G∞I相关。（d）另一方面，如果没有一些假设，就不能保证存在。例如，如果Te=∞ 域内，但P（σ<∞) = 1（参见下面的示例5.1，p>0），严格增加的奖励G导致不存在，因为停止对于任何代理都是不可取的，但θ除外≡ 不允许使用0。定理4.1的证明。对于t<∞, 设Atbe为生成Ft的原子的（可数）集合。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:36

给定n≥ 1，考虑一个时间范围为n且let（θnt）为0的修正问题≤t型≤nbe运用定理3.1和Payoff（Gt）t得出的均衡停止政策≤n、我们还设置θnt≡ 1因为我们称σ-场为离散的，如果它是由Ohm. 在具有可数状态空间的马尔可夫链的情况下，可以定义FTA，即样本路径在时间t.t之前生成的σ场≥ n、注意，每个θntis是一个二进制序列（θnt（a））a∈在因此，通过对角线过程，我们可以找到一个子序列（再次表示为θn），该子序列在以下意义上收敛到停止策略θ：给定t<∞ 和A∈ 在，我们有θnt（A）=θt（A）f或所有足够大的n。如果没有有效的层位，则∧ n=t因此θnforn的容许性≥ 1表示t的θt=1≥ Te。为了证明θ是可容许的和平衡的，我们对∈ T和A∈ F并检查该州的可接受性和最佳条件。为便于记法，我们假设t=0，A=Ohm （一般情况下，仅通过编写条件期望和概率来区分）。为了进一步简化符号，我们设置τ=Lθ，τn=Lθn。θntoθ的收敛意味着τn→ τa.s.更准确地说，这种收敛在{τ<∞}, 得出1{τn<σ<∞}→{τ<σ<∞}a、此外，{τ σ} = {τ < σ < ∞} ∪ {σ = ∞}, 其中，并集是不相交的，τn也是如此。因此{τnσ}→ 1{τσ} a.s.（4.2）可采性。我们必须确保P（τ σ) 6= 0. 考虑到（4.2），它会表现出一种可达状态，其中所有大n都会停止，因为这意味着P（τ σ） =limnP（τn σ) > 0.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:39

事实上，在（4.1）之前，我们可以发现≥ 0和A∈ Atwith A DTGT（A）≥ 0和CTGT（A）≥csups≥0，A′∈As，A′DscsGs（A′）≥ sups公司≥t+1，A′∈As，A′DSC-1Gs（A′）和henceGt（A）≥ Gs（A′）表示所有s>t，A′∈ 用A′表示 Ds。这表明，对于位于（t，A）的代理，无论将来自己做什么，停止都是最优的。特别是，对于所有n，θnt（A）=1≥ t和τ≤ t<A上的σ。因此，P（τ σ) ≥ P（A）>0。最优性。证明连续值在固定初始状态下收敛；i、 e.，Jn：=J（θn）→ J： =J（θ）。一旦确定，如果θ=0，那么θn=0表示n大，因此G≤ Jn公司→ j表明θ=0是最优的，θ=1也是如此。看到jn=E[Gτn{τnσ} ]P（τn σ)→E[Gτ{τσ} ]P（τ σ） =J，注意分母在可容许性和P（τn）方面不为零 σ) →P（τσ）根据（4.2）。鉴于τn→ τa.s.我们有Gτn→ Gτa.s.{τ<∞}.我们假设Gn→ G∞a、在美国，这种趋同无处不在。也可以使用E[supt≤T | Gt | 1Dt]<∞ 和（4.2），分子的收敛遵循支配收敛。推论4.3。在定理4.1的条件下考虑马尔可夫设置（例2.1）。然后存在马尔可夫平衡。证据我们重新讨论定理4.1的证明。每个有限视界问题都是马尔可夫问题，因此推论3.3表明θ是马尔可夫问题。由于θtwa被构造为θnt的逐点极限，因此它也是σ（Xt，1Dt）-可测的。我们将在例5.3中看到，在时间均匀的环境中，这一推论无法得到改进：但平衡可能与时间有关。5有限层平衡：示例5.1非唯一性和非马尔可夫平衡以下示例表明，在有限层情况下，可能存在多个平衡。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:42

在这些平衡中，所有主体的选择都是唯一确定的；i、例如，非唯一性不仅仅是由于在停止和继续之间保持不变的代理的不同选择。此外，多重性甚至在时间齐次马尔可夫均衡类中也会出现。算例还表明，在马尔可夫条件下，非马尔可夫平衡可能存在。示例5.1。考虑状态{0，1，2}上的齐次马尔可夫链X，初始值X=1，其自然过滤中的转移概率（pij）。只有B={1，2}中的状态与代理相关，这意味着σ=inf{t≥ 0：Xt=0}和Dt={X，…，Xt∈ B} 。Payo ff Gt=δtg（Xt）由当前状态的函数g和衰减因子δ给出∈ (0, 1). 具体而言，p=p=p=1/3和g（0）=, g（1）=1，g（2）=a，其中a是一个常数，满足1<3- δ2δ<a<2- δδ.我们还假设p6=1；其他跃迁概率是任意的。那么，正好有两个马尔可夫平衡：（i）处处停止；i、 e.，θ≡ 1.（ii）如果链条处于状态2或已退出，则停止；i、 e.，θt=1{Xt=2}∪Dct。如果p>0，则存在进一步的非马尔可夫平衡。在这些平衡中，给定试剂在某些状态（t，ω）下的诱导停止时间与（i）或（ii）诱导的停止时间一致，这取决于Ft证明。我们首先注意到，当a>g（1）且δ<1时，对于{Xt=2}上的time-t代理，唯一的最佳选择是停止，无论未来代理选择什么。（a）看到θ≡ 1是一个平衡，考虑处于状态1的一个代理，在t=0时不丧失一般性。ThenJ（θ）=δ（p+ap）1- p=δ（1/3+a/3）2/3=δ1+a<1=G，（5.1）表明停车确实是最佳的，θ是一个平衡。（b）由θt=1{Xt=2}定义的策略θ∪DCT是允许的。为了确定平衡，再次考虑状态1的时间-0代理。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-6-14 03:41:45

设τjbe为s状态j的第一次击中时间，因此σ=τ，τ：=Lθ=τ∧ τ.我们有{τ σ} ={τ<τ}自P（τ∧ τ= ∞) = 当p=p时，{τ<τ}和{τ<τ}之间的对称性产生p（τ<τ）=p（τ<τ）=1/2，因此p（τ σ) = 1/2. 此外，E[Δτg（Xτ）1τσ] =aXk≥1δkP（τ=k，k<τ）=aXk≥1δk（1/3）k=aδ3- δ，因为P（τ=k，k<τ）=P（X=···=Xk-1=1，Xk=2）=pk-1便士。I t遵循j（θ）=E[ΔτGττσ] P（τ σ） =2aδ3- δ> 1=G，（5.2），表明延续是最佳的。因此θ是一个平衡。（c）设θ为马尔可夫平衡；我们证明θ必须是上述两个策略之一。我们已经观察到，任何处于状态2的代理都必须停止。根据可采性，在0国的任何代理人也是如此。也就是说，1{Xt=2}∪Dct公司≤ θt≤ 所有t均为1∈ T、如果没有其他代理停止，θ是（ii）的策略。否则，在{Xt=1}上存在一个在状态1：θt=1停止的时间-t代理。但是，与（5.1）中相同的计算表明，任何代理时间（t- 1）状态1也必须停止，以此类推，以便θs≡ 1适用于所有s≤ t、因此，在状态1停止的所有代理集可以看作是从t=0开始的半行。如果这条半直线是有限的，θ是（i）的平衡。如果不是，则存在一些最大t<∞ 其中time-t代理停止，意味着θs≡ s为1≤ t和θs=1{Xs=2}∪但现在（5.2）中的计算表明，对于任何时间t代理{Xt=1}，停止都不是最优的，这是一个矛盾。（d）接下来，我们给出一个非马尔可夫均衡的例子。实际上，设置θ=θ≡ 1、对于t≥ 2，我们定义θt（ω）=（如果ω∈ {X=2，Xt=1}∩ Dt，1其他。类似于（5.1）和（5.2）的简单计算表明θ是一个等式。如果p>0，则θ定义中的两种情况都具有正概率，因此θ确实是非马尔可夫的。（e）设θ为任何平衡，可能为非马尔可夫平衡。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:48

（c）中的第一个论证仍然表明，对于（t，ω），如果Xt（ω）=1，θt（ω）=1，那么θt-1(ω) = 1. 然而，（c）merelyshowever的第二个自变量显示了（t，ω）的自变量，因此Xt-1（ω）=Xt（ω）=1和θt-1（ω）=0，则θt=0。（但如果Xt-1（ω）=2，与政策不能直接依赖于Xt的马尔可夫情况相反-1). 这意味着，考虑到时间t之前的过去，θ诱导的停止时间是（i）中的立即停止时间或（ii）中的{1}的首次退出时间。注意，如（d）中所述，这两者之间的选择可能取决于ω。备注5.2。（a）示例5.1的有限地平线版本有一个非奇异平衡，由处处停止给出。这之后是一个向后递归和（5.1）中相同的计算，因为time-T代理必须停止。该平衡的极限为T→ ∞ 是最终水平平衡（i）。另一方面，平衡（ii）不是作为有限水平平衡的极限出现的。（b）在这个特定的例子中，两个马尔可夫平衡是有序的：平衡（ii）对所有代理都有较大的值函数。值得注意的是，极限平衡是次平衡。（c）例5.3表明，通常不存在支配平衡。我们也可以构造简单的例子，其中均衡值过程和对应于不同偏好的停止策略是无序的。5.2不存在时间齐次平衡在本节中，我们构造了一个时间齐次马尔可夫链的示例，该链允许马尔可夫平衡，但不允许时间齐次平衡。在这种意义上，定理4.1和推论4.3无法改进，对时间齐次概念的限制是不可能的（或将导致不存在）。重要的是，该示例还表明，[22]中引人注目的迭代方法不适用于我们的设置。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:51

事实上，在非经验单位折扣问题中，不耐烦度递减，Φ的迭代应用（从合适的起点）会产生一个单调序列，收敛到时间齐次平衡。然而，在我们的例子中，迭代可能不会是单调的。这可能和动态规划原理的两个不等式的失败有关，而减少不耐烦可以保留一个不等式。示例5.3。考虑{0，1，2，3，4}上的齐次马尔可夫链X，其转移概率如图2中的边所示。特别是，状态0、3和4正在吸收。我们设置B={1，2，3，4}，因此0是唯一的退出状态。Payoff过程由Gt=δtg（Xt）给出，其中δ∈ （0，1）是折扣系数，g（1）=a，g（2）=2，g（3）=0，g（4）=bas标记在图2中的框中。为了避免琐事，我们假设初始位置是非吸收态之一，即X=1或X=2，并且我们还将注意力限制在停止于状态3的平衡上。如果f不依赖于t.1 23 40.50.10.5 0.40.40.1图2：示例5.3中的马尔可夫链，状态x用圆圈标记，支付g（x）用方框标记，则称为时间齐次马尔可夫平衡θt=f（t，Xt）。我们假设0<a<δ<1<2<b，这样，由于状态3是吸收的，并且g（3）=0，所有策略对状态3中的前不变代理都没有奖励。这导致了一系列（无趣的）平衡。如果假设提前停止偏好，则在状态3停止是一种结果，而不是一种条件。满足：a<δ，δ（a+4b）<18，（5.3）δ（δ+4b）>18，0.01δmin（5a，bδ）+0.2bδ+4bδ>17.9，（5.4）δ（max（δ，0.25bδ）+4b）<18.9a。（5.5）一个可能的选择是δ=0.999，a=0.96，b=4.257。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:53

然后，直到a.s.等价：（i）所有平衡都是马尔可夫的。（ii）不存在时间齐次平衡。（iii）正好有两个平衡，它们由彼此的位移给出。实际上，设θt=f（t，Xt），θt=f（t+1，Xt），θt=f（t+2，Xt），θt=f（t+3，Xt），其中f（t，x）=R（x），t≡ 0米外径4R（x），t≡ 1米外径4R（x），t≡ 2米外径4R（x），t≡ 3 m od 4forR={0，1，2，3，4}，R={0，2，3，4}，R={0，3，4}，R={0，1，3，4}。那么θi，i=1，4是马尔可夫平衡，其中正好有两个在a.s.等效下是不同的：如果X=1，那么θ=θ和θ=θ，而如果X=2，那么θ=θ和θ=θ，a.s.所有平衡都是马尔可夫的，这与过滤相对较小（a.s.）有关，因为各种状态都在吸收这一事实，不应给予太多的权重。其他项目的证明相当冗长，因此让我们尝试试探性地总结关键机制。首先，对动力学进行了设计，使得在任何平衡中，time-t代理的决策都要求初始条件在我们的基本设置中是确定的。如果X=1，则状态1只能在奇数t处访问，状态2只能在偶数t处访问；如果x=2，则相反。这导致了两对θi的a.s.等价性。然而，如果我们将初始状态视为不固定状态（在马尔可夫框架中可能被视为自然状态），或者如果我们假设Xhas是一个包含两种状态的支持分布，那么所有四个平衡都是不同的。仅取决于t+1处的代理。此外，正如下面引理5.4所强调的，它嵌入了两种不能同意（甚至不能同意不同意）的代理：打电话给Minniet2和time t的代理，打电话给Donald1和time t的代理。Minnie喜欢和谐相处，总是想同意，而Donald只有在与Minnie发生冲突时才会高兴。支持Donaldtsays在某个时间“1”（停止）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:56

然后是米妮特-1也希望如此，但好斗的Donald-2立即回答为0，从而简化了时间不均匀性，因为他在反驳Donaldt。如果Donaldtstarts的值为0，则情况类似。相反，存在两个平衡点，因为一旦初始Donald（或Minnie，取决于初始s状态Xis）确定了两个可能的选择0或1中的一个，上述反向递归也意味着一个唯一的正向递归。（i）–（iii）的证明。让我们首先观察到，根据可容许性，任何均衡停止策略θ（可能是非马尔可夫的）必须在{Xt=0}上停止。此外，它必须在{Xt=4}上停止：状态4是吸收的，而g（4）>0，因此，由于贴现因子δ<1，继续永远不是最优的。由于我们也讨论了θ在{Xt=3}上的停止，因此我们可以将注意力限制在满足{Xt上θt=1的平衡上∈ 所有t的{0，3，4}}∈ T.（i）设θ为任意平衡；我们证明θ是马尔可夫的（或者更确切地说，a.s.等价于M-阿尔可夫平衡）。实际上，首先假设初始条件为X=1，并且X t∈ T、在{Xt上有θT=1∈ {0, 3, 4}}. 但由于0，3，4是吸收态，{Xt∈ {0, 3, 4}} =∪s≤t{Xs∈ {0, 3, 4}}. 假设t∈ T是奇数。那么{Xt=1}是一个空集，因此在达到a.s.等价时，只有θton{Xt=2}的值尚未确定。但由于{0，3，4}上的吸收，以及集合{Xs=1}和{Xs=2}中正好有一个具有正概率的事实≤ t、我们有{Xt=2}={X=2，X=1，X=2，…，Xt=2}，这意味着{Xt=2}是Ft中的一个原子。特别是，{Xt=2}上的θtis a.s.常数，并且由于{Xt=2}c上的θt=1 a.s，因此θtis是马尔可夫形式。如果t是偶数，则情况类似，因此θ是马尔可夫的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:41:59

初始条件为X=2时的处理类似。（ii）和（iii）的证明需要以下引理来描述上述米妮-唐纳德关系。引理5.4。设0<a<δ<1<2<b满足（5.3）–（5.5），并设θ是可容许的停止策略，使得θt=1在{Xt∈ t为{0，3，4}}∈ T、那么对于所有T≥ 1，（P1）如果{Xt=1}上的θt=1，则Φ（θ）t-在{Xt上1=1-1= 2};（P2）如果{Xt=1}上的θt=0，则Φ（θ）t-{Xt上的1=0-1= 2};（P3）如果{Xt=2}上的θt=1，则Φ（θ）t-{Xt上的1=0-1= 1};（P4）如果{Xt=2}上的θt=0，则Φ（θ）t-在{Xt上1=1-1= 1}.引理的pro在证明（ii）和（iii）之后被报告。（ii）通过Rn=Rn+4z定义4周期序列（Rn），其中R，罕见，如上文（iii）所述。请注意，R，Rexhaust{0，3，4}和其余状态的所有组合。因此，时间齐次平衡θ（a.s.）的形式必须为θt=1Rn（Xt），t∈ T、对于某些n.另一方面，对于任何T∈ T、（P1）–（P4）意味着Φ（Φ（1Rn（Xt））=1Rn+2（Xt）6=Rn（Xt），从而排除了时间齐次平衡的存在。（我们迭代Φ两次，以确保策略也会模化a.s.等价）。（iii）θi（i=1，2，3，4）的可容许性成立，因为Dt={Xt=0}ca.s.（由于{0}正在吸收），并且因为从任何非吸收状态来看，在达到{0}之前达到{3，4}的正概率。此外，Φ（θi）=θi通过使用（P1）–（P4）直接验证得出。因此，θi平衡。为了确定有两个平衡点，首先假设初始条件为X=1，θ为（必然是马尔可夫）平衡点。模a.s.等价，θ完全由其在{X=1}、{X=2}、{X=1}等上的值决定，因为状态1只能在事件时间访问，状态2只能在奇数时间访问。接下来，我们使用（P1）–（P4）：假设θ=1在{X=1}上。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:42:02

这意味着{X=2}上的θ=0，这意味着{X=1}上的θ=0，这意味着{X=2}上的θ=1，等等。因此，我们有θ=θ=θa.s。或者，{X=1}上的θ=0。这意味着{X=2}上的θ=1，因此{X=1}上的θ=1，因此{X=2}上的θ=0，等等。特别是，我们有θ=θ=θa.s。初始条件X=2的情况类似。引理5.4的证明。让t≥ 1并设置▄Jt（θ）=E[δLtθ-tg（XLtθ）1{Ltθ<σ}| Ft]P（Ltθ<σ| Ft）如果初始状态不被认为是固定的，或者如果它是随机的，P（X=1）>0，P（X=2）>0，那么（P1）–（P4）意味着θ是四个θi中的一个，由{X=1}和{X=2}上的θ值唯一确定。因此，Jt（θ）=δtJt（θ）是时间t的延拓值。请注意，将Jt（θ）与gts进行比较相当于将Jt（θ）与g（Xt）进行比较。我们将展示（P1）和（P3）。（P1）：假设Xt-1= 2. 这意味着Xt∈ {0，1，3，4}，因此（P1）的假设得出θt=1，Lt-1θ=t和▄Jt-1（θ）=δ（0.1a+0.4b）/0.9。在（5.3）的第二部分中，我们得到了Jt-1（θ）<2=g（2），因此Φ（θ）t-1=1，如权利要求所述。（P3）：如果Xt-1=1，然后是Xt∈ {2，3}，（P3）的赋值意味着θt=1，Lt-1θ=t和▄Jt-1(θ) = δ. 到（5.3）的第一部分，我们有Jt-1（θ）>a=g（1），因此Φ（θ）t-1= 0.接下来，我们分析（P2）和（P4）。用ht（θ）和pt（θ）表示~Jt（θ）的数字和分母。很明显，ht（θ）≤Jt（θ）≤ b代表所有t，因为bis是最大可能的支付。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 03:42:05

通过迭代条件作用，我们在集合{Xt=1}上得到了 {Xt+1∈ {2，3}}，ht（θ）=E[δLtθ-tg（XLtθ）1{Ltθ<σ}| Ft]=E[1{Xt+1=2}δLtθ-tg（XLtθ）1{Ltθ<σ}+1{Xt+1=3}δg（3）| Ft]=E[1{Xt+1=2，θt+1=1}δg（2）| Ft]+E[1{Xt+1=2，θt+1=0}δLt+1θ-（t+1）δg（XLt+1θ）1{Lt+1θ<σ}| Ft]=δE[1{Xt+1=2，θt+1=1}2+1{Xt+1=2，θt+1=0}ht+1（θ）| Ft]，（5.6）其中，如果θt+1=1，则Ltθ=t+1，如果θt+1=0，则Ltθ=Lt+1θ。类似地，我们推导出在{Xt=1}，pt（θ）=E[1{Xt+1=2，θt+1=1}+1{Xt+1=2，θt+1=0}pt+1（θ）| Ft][0.5，（5.7）和在{Xt=2}，ht（θ）=δE[1{Xt+1=1，θt+1=1}a+1{Xt+1=1，θt+1=0}ht+1（1θ）| Ft]+0.4bδ，（5.8）pt（θ）=E[1{Xt+1=1，θt+1=1}+1{Xt+1=1，θt+1=0}pt+1（θ）| Ft]+0.8。（5.9）方程（5.6）-（5.9）得出以下界限：{Xt=1}，ht（θ）≤ δE[1{Xt+1=2}max（2，ht+1（θ））| Ft]，（5.10）ht（θ）≥ δE[1{Xt+1=2}min（2，ht+1（θ））| Ft]，（5.11）pt（θ）≥ 0.5+E[1{Xt+1=2}pt+1（θ）| Ft]，（5.12）和{Xt=2}，ht（θ）≤ δE[1{Xt+1=1}max（a，ht+1（θ））| Ft]+0.4bδ，（5.13）ht（θ）≥ δE[1{Xt+1=1}min（a，ht+1（θ））| Ft]+0.4bδ，（5.14）0.8+E[1{Xt+1=1}pt+1（θ）| Ft]≤ pt（θ）≤ 0.9. （5.15）（P2）：假设θt=0在{Xt=1}上。在（P2）的证明中，我们假设我们在集合{Xt上-1= 2}; i、例如，所有语句都以Xt为条件-1= 2. 然后，1{Xt=1，θt=0}=1{Xt=1}和1{Xt=1，θt=1}=0。确定Φ（θ）t-1=0，必须显示▄Jt-1（θ）>g（2）=2。为此，我们推导出ht的下界-1（θ）和上界forpt-1（θ）（有条件地在Xt上-1= 2). Letγt-1： =P（Xt=1，Xt+1=2，θt+1=1 | Ft-1）请注意，0≤ γt-1.≤ 0.05.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝