马尔可夫决策过程中的随机比较静力学

2022-6-14 11:37:48

马尔可夫决策过程中的随机比较静力学*2020年1月28日摘要：在多周期随机优化问题中，未来最优决策是一个随机变量，其分布取决于优化问题的参数。我们分析了在马尔可夫决策过程中，这个随机变量的期望值是如何作为动态优化参数的函数变化的。我们称这种分析为随机比较静力学。我们得出了比较静态结果和随机比较静态结果，表明当前和未来的最优决策如何随着单期支付函数、贴现因子、系统初始状态和转移概率函数的变化而变化。我们将我们的结果应用于经济学和运筹学文献中的各种模型，包括投资理论、动态定价模型、受控随机游走和平稳分布的比较。关键词：马尔可夫决策过程，比较静力学，随机比较静力学。MSC2000主题分类：90C40OR/MS主题分类：主要：动态规划/最优控制*斯坦福大学商学院，斯坦福，加利福尼亚州94305，美国。电子邮件：barl@stanford.edu1引言在经济学和运筹学研究中，一个广泛问题的兴趣在于优化问题的解对其参数是否单调。对这个问题的分析叫做比较静力学。继托普基斯的开创性工作（托普基斯，1978年）之后，比较静力学方法在经济学和运筹学文献中受到了极大的关注。虽然比较静力学方法通常适用于静态优化问题，但也可以应用于动态优化问题。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:37:51

特别是，这些方法可用于研究PolicyFunction如何随系统当前状态或动态优化问题的其他参数而变化。也就是说，对于多周期优化模型，可以使用比较静力学方法来确定当前周期的最优决策相对于优化问题的参数是如何变化的。例如，在马尔可夫决策过程中，在支付函数和转移函数的适当条件下，可以应用比较静态方法来表明，当系统状态固定时，最优决策在贴现因子中增加。但是，由于该模型是动态的，并且包含不确定性，在不同的贴现因子s下，统计数据的演变是不同的，因此，即使当前最优决策在固定状态下的贴现因子中增加，未来最优决策是否在贴现因子中增加也不清楚。从时段1的角度来看，时段t>1中系统的状态是一个随机变量，因此，时段t中的最优决策取决于时段t中系统的状态，是给定时段1中可用信息的随机变量。本文在马尔可夫决策过程（MDP）的背景下，分析了t期内最优决策的期望值作为优化问题参数的函数是如何变化的。我们称这种分析为草率的比较静力学。更准确地说，让（E，) 是包含MDP某些参数的偏序集。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:37:59

ForSee Topkis（2011），了解比较静力学方法的综合处理。例如，见李卡尔齐和维诺特（1992年）、米尔格罗姆和香农（1994年）、阿西（2002年）、埃切尼克（2002年）、安东尼亚杜（2007年）、夸赫（2007年）、夸赫和斯特鲁洛维奇（2009年）、西莱（2013年）、诺切蒂（2015年）、王安和李（2015年）、巴塞尔和萨巴尔瓦尔（2018年）以及科赫（2019年）。M¨uller（1997）和Smith and McCardle（2002）研究了最优值函数如何随动态优化问题的参数变化，如单周期支付函数和转移概率函数。相比之下，本文分析了最优策略函数。关于动态优化模型中的比较静态结果，请参见Serfozo（1976）、Lovejoy（1987）、Amir等人（1991）、Hopenhayn和Prescott（1992）、Mirman e t等人（2008）、Topkis（2011）、Krishnamurthy（2016）、Smith和Ulu（2017）、Lehrer和Light（2018）以及Dziewulski和Quah（2019）。例如，E可以是所有转移概率函数的集合、所有折扣因子的集合和/或影响支付函数的参数集合。假设在参数e下∈ 平稳策略函数由g（s，E）给出，其中s是系统的状态。给定策略函数g和系统的初始状态，系统的状态遵循随机过程。假设状态在周期t中的分布由概率度量ut（ds，e）描述。我们感兴趣的是找到条件，以确保周期t中的预期决策，Et（g（e））=Rg（s，e）ut（ds，e）在参数e中增加。预期值Et（g（e））以两种不同的方式解释。从概率的角度来看，Et（g（e））是t期内预期的最优决策，是参数e的函数。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:08

例如，在投资理论中，该期望值通常表示t期系统中预期的资本积累（Stokey和L ucas，1989）。在库存管理中，它代表t期的预期库存（Krishnan a and Winter，2010），在收入波动问题中，它代表t期的预期财富积累（参见Huggett（2004）和Bommier and Grand（2018））。从确定性的角度来看，如果我们考虑一个事先相同的主体群体，这些主体的状态根据控制状态动态的随机过程独立演化，那么ut表示周期t内状态的经验分布。在这种情况下，Et（g（e））对应于给定参数e的该人口在t期的平均决策。后一种解释在关于平稳平衡模型和平均场平衡模型的不断增长的文献中很常见。在本文献中，虽然重点是平衡分析，但已经获得了一些随机比较静力学结果（见Adlakha和Johari（2013）以及Acemoglu和Jensen（20 15））。这些随机比较静力学结果有助于分析这些模型的平衡。特别是，证明比较静力学结果并建立平衡的唯一性（见Hopenhayn（1992）、Light（20 18b）、Acemoglu和Jensen（201 8）、Light和Weintraub（2019））。本文的目的是在MDP的背景下提供一般的随机比较静力学结果。特别是，我们提供了有关MDP基本要素的各种有效条件，以保证与MDP重要参数（如贴现因子、单期支付函数和过渡概率函数）相关的统计比较静态结果。我们还提供了关于这些参数的新的比较静力学结果。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:11

例如，我们表明，在一组标准条件下，这意味着政策函数在该州增加，政策函数也在增加贴现系数（见第3.2节）。我们将我们的结果应用于具有调整成本的资本积累模型（Hopenhayn和Prescott，1992），具有参考效应的动态定价模型（Popescu和Wu，2007），以及控制随机游动。例如，考虑以下受控随机行走st+1=st+at+t+1，其中STI是周期t内系统的状态，atis是周期t内选择的动作，以及{t}∞t=1是独立的随机变量，在时间上分布相同。在每个阶段，决策者都会收到一份奖励，该奖励取决于系统的当前状态，并产生一笔成本，该成本取决于决策者在该阶段选择的行动。在系统状态下，报酬函数是递增的，而在决策者的行为中，成本函数是递增的。决策者的目标是使期望的报酬之和最大化。我们提供了报酬函数和成本函数的有效条件，以保证当随机噪声的分布在随机优势意义上更高时，决策者的当前行动和预期未来行动会增加。由于我们的结果是直观的，并且我们为推导随机比较静力学结果提供的充分条件在一些感兴趣的动态程序中得到了满足，我们相信我们的结果在其他应用中也适用。论文的其余部分组织如下。第2节介绍了动态优化模型。第2.1节介绍了本文中使用的定义和符号。在第3节中。1.我们给出了主要的随机比较静力学结果。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2022-6-14 11:38:14

第3节。2我们研究贴现率和单期支付函数的变化。在第3.3节中，我们研究了转移概率函数的变化。在第4节中，我们将结果应用于各种模型。在第5节中，我们提供了一个摘要，然后是一个包含证据的附录。2模型在本节中，我们介绍了模型的组成部分和假设。具体而言，我们关注一个标准的折扣动态规划模型，有时称为马尔可夫决策过程。关于动态编程模型的综合处理，请参见Feinberg和Shwartz（2012）以及Puterman（2014）。我们根据元素元组（S、a、Γ、p、r、β）定义了折扣动态编程模型。S RN是一个称为状态空间的Borel集。B（S）是Borelσ-代数 R是动作空间。Γ是S×a的可测子集。对于所有S∈ S、我们的结果可以应用于其他动态编程模型，如正动态编程和负动态编程。Γ的非空且可测量的s截面Γ（s）是状态中的一组可行操作∈ S、 p:S×A×B（S）→ [0，1]是转移概率函数。也就是说，p（s，a，·）是s上每个（s，a）的概率度量∈ S×A和p（·，·，B）是每个B的可测函数∈ B（S）。r:S×A→ R是一个可测量的单期支付函数。0<β<1是贴现系数。有一定数量的周期t∈ N：={1，2，…}。该过程从某些状态s（1）开始∈ 假设在时间t时，状态为S（t）。决策者（DM）根据s（t）选择动作a（t）∈ Γ（s（t）），并接受支付（s（t），a（t））。下一周期的状态s（t+1）位于B的概率∈ B（S）由p（S（t），a（t），B）给出。设H=S×A，Ht：=H×。×H |{z}t-1倍×S。一个策略σ是一个序列（σ，σ。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:18

.) Borel可测函数σt:Ht→ A使得σt（s（1），A（1），s（t））∈ Γ（s（t））对于所有t∈ N和所有（s（1），a（1），s（t））∈ Ht。对于每个初始状态s（1），一个策略σa和一个概率函数p在所有实体历史H的空间上诱导一个概率测度∞.我们用σ表示关于概率测度的期望，用{s（t），a（t）}表示相关随机过程∞t=1。D M的目标是找到一个建议，即马将其预期的折扣支付最大化。当DM遵循策略σ且初始状态为s时∈ S他的预期贴现付款由Vσ（S）=Eσ给出∞Xt=1βt-1r（s（t），a（t））。定义neV（s）=supσVσ（s）。我们称V:S→ R值函数。确定操作员：B（S）→ B（S），其中B（S）是所有函数f:S的空间→ R byT f（s）=最大值∈Γ（s）h（s，a，f），其中h（s，a，f）=r（s，a）+βZSf（s′）p（s，a，ds′）。（1）在MDP原语的标准假设下，标准动态规划所有有限历史空间上的概率测度H∞由theIonescu Tulcea theore m（有关更多详细信息，请参阅Bertsekas和Shreve（1978年）和Fe inberg（1996年））唯一定义。状态空间和动作空间可以是连续的，也可以是离散的。当我们讨论Swe上的凸函数时，假设S是一个凸集。ming参数表明，值函数V是满足V=V的唯一函数。此外，还存在一个最优平稳策略和最优策略响应g（s）={a∈ Γ（s）：V（s）=h（s，a，V）}是非空的，紧值的，上半连续的。定义g（s）=最大g（s）。我们称g（s）为策略函数。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:22

对于本文的其余部分，我们假设值函数是唯一的连续函数，满足t V=V，对于每个f，Tnf一致收敛到V∈ B（S），并且策略功能存在。2.1符号和定义在本文中，我们考虑一个参数化动态程序。让（E，) 成为影响DM决策的一部分。我们用E表示E中的一般元素。在本文中，我们略微滥用了符号，并允许在上述函数中进行额外的论证。例如，ParameteredDynamic progr am V的值函数表示为V（s，e）=maxa∈Γ（s，e）h（s，a，e，V）。同样，策略函数用g（s，e）表示；r（s、a、e）是单期支付函数；h（s，a，e，V）是与参数为e的动态程序问题相关的h函数，如上文方程（1）所述。在本文的其余部分中，我们假设epb是所有转移函数p:S×A×B（S）的集合→ [0, 1].当DM遵循策略函数g（s）且初始状态为s（1）时，随机过程（s（t））是马尔可夫过程。（s（t））的转移函数可以由策略函数g和转移函数p描述如下：对于所有B∈ B（S），如果S（1），定义u（B）=1∈ 否则为B和0，u（B）=p（s（1），g（s（1）），B）。u（B）是第二个周期的状态s（2）位于B的概率。对于t≥ 3，定义ut（B）=RSp（s，g（s），B）ut-1（ds）适用于所有B∈ B（S）。那么ut（B）是s（t）位于B中的概率∈ 初始状态为S（1）时，周期t中的B（S）∈ S和DM遵循policy函数g。为了便于标记，我们省略了对初始状态的引用。本文的所有结果都适用于每个初始状态s（1）∈ S、这些条件通常在应用中得到满足。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-6-14 11:38:25

文献中广泛研究了保证值函数存在和连续以及平稳函数存在的条件。参见Hidder等人（2016），了解textboo k治疗。有关最近的结果，请参见Feinberg等人（2016）及其参考文献。我们写uti（B）来表示s位于B中的概率∈ t期间的B（S），whenei∈ E是影响决策者决策的参数，决策者遵循政策函数g（s，ei），i=1，2。对于ei∈ E、 defeneeti（g（ei））=ZSg（s，ei）uti（ds）。正如我们在导言中所讨论的，Eti（g（ei））可以用两种方式来解释。根据第一种解释，从时段1的角度来看，DM在时段t的最优决策是一个随机变量。预期价值Eti（g（ei））是DM在t期的预期决策，因为影响DM决策的参数∈ E、另一方面，预期值Eti（g（ei））可以解释为一系列面临特殊冲击的DM的决策的总和。在后一种解释中，每个DM都有一个单独的统计数据，并且ut是t期内各州DM的分布。这种解释通常用于平稳均衡模型和平均场均衡模型（详见第4.4节）。我们对以下随机比较静力学问题感兴趣：e eimpliesEt（g（e））≥ 所有t的Et（g（e））∈ N（对于每个初始状态）？我们注意到，对于t=1，随机比较静力学问题简化为比较静力学问题：e eimplies g（s，e）≥ g（s，e）？我们现在介绍一些将在下一节中使用的符号和定义。对于两个元素x、y∈ Rnwe写入x≥ y如果xi≥ yi对于每个i=1。。。，n

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-14 11:38:28

我们说f:Rn→ 如果x，R增大≥ y表示f（x）≥ f（y）。让D 其中rsi是从S到R的所有函数的集合。当u和u是（S，B（S））上的概率度量时，我们写uDuifZSf（s）u（ds）≥所有Borel可测函数f的ZSf（s）u（ds）∈ 使得积分存在。在本文中，我们将关注两个重要的随机序：一阶随机优势序和凸随机序。当D是所有递增函数的集合时，我们写ustu并说u一阶随机支配u。如果D是S上所有凸函数的集合，我们写uCXu并表示u在凸随机序中占主导地位。如果D是所有递增和凸f函数的集合，我们写uICXu。类似ly，对于p，p∈ Ep，我们写pDpifZSf（s′）p（s，a，ds′）≥所有Borel可测函数f的ZSf（s′）p（s，a，ds′）∈ D R和所有（s，a）∈ S×A这样的集合存在。如果D是所有递增f函数、凸函数、凸函数和递增函数的集合，我们写pstp，pCXp和p分别为ICXp。关于随机序的全面覆盖及其应用，请参见M¨uller和Stoyan（2002）以及Shaked和Shanthikumar（2007）。定义1（i）我们说p∈ EPI单调如果对于每一个递增函数f（s′）p（s，a，ds′）在（s，a）中递增。（ii）我们说p∈ 对于每一个共凸函数f，f（s′）p（s，a，ds′）在（s，a）中是凸的。（iii）定义Pi（s，B）=：Pi（s，g（s，ei），B）。让D 我们说，如果f∈ D表示RSF（s′）Pi（s，ds′）∈ D、如果D是所有递增函数、凸函数、凸函数和递增函数的集合，我们可以分别说，Piis i-preserving、CX-preserving和ICX-preserving。3主要结果在本节中，我们得出了我们的主要结果。在第3.1节中，我们提供了随机比较静力学结果。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:31

在第3.2节和第3.3节中，我们提供了MDP原语的条件，以保证比较静力学和随机比较静力学的结果。3.1随机比较静力学在本节中，我们提供了确保随机比较静力学的条件。我们的方法是找到一些条件，这些条件意味着，无论何时，在绝对约束下产生的状态动态都会支配在绝对约束下产生的状态动态 e、定理1表明，如果Pis是D-保持且P（s，·）DP（s，·）适用于所有s∈ S、然后utDut对于所有t∈ N、定理1的证明可以在M¨uller和Stoyan（2002）的第5章中找到，作者研究了一般马尔可夫链的随机比较。为了完整性，由于我们的设置略有不同，我们在本文的其余部分提供了定理1的证明，所有函数都假定为可积函数。完整性附录。本文其余部分的重点是找出MDP原语的有效条件，以便应用定理1。推论1和定理2提供了Pto保持D和P（s，·）的充分条件DP（s，·），当D是递增函数集或递增凸函数集时。本节中的结果需要对策略功能和MDP原语进行调整。在第3.2节和第3.3节中，我们提供了依赖于模型原语的比较静态和随机比较静态结果（例如，转移概率和单周期支付函数）。定理1 Let（E，) 是偏序集且设D R.Let e，e∈ 假设E e、假设Pis是D-保持的，P（s，·）DP（s，·）f或ALL∈ S

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-6-14 11:38:33

然后utDut对于所有t∈ N、如果p=p=p和（E，) 是一个影响代理决策的部分有序集，定理1产生了一个简单的随机比较静力学结果。推论1表明，如果g（s，e）在e中增加，g（s，e）在s中增加，并且p单音，那么Et（g（e））≥ Et（g（e））每当e e、当e是一组介于0和1之间的所有可能的贴现系数，或是一组包含影响单期支付函数的参数时，该结果很有用（见第3.2节）。推论1 Let e，e∈ 假设E e、假设g（s，e）对于所有s都是递增的∈ S、 g（S，e）在S中增加，p=p=p，p是单调的。网络（g（e））≥ 所有t的Et（g（e））∈ N和每个初始状态s（1）∈ S、在一些动态项目中，我们有兴趣了解初始状态的变化将如何影响DM在未来时期的决策。Corolla r y 2表明，如果政策函数在系统状态下增加，且过渡概率函数为monot 1，则高初始状态会导致更高的预期决策。证明遵循与推论1证明相同的论点。回想一下，我们用s（1）表示初始状态。定理1的一个类似结果站ICXcan见于Huggett（2004）、Adlakha和Johari（2013）、Balbus等人（2014）和Acemoglu和Jensen（2015）。推论2包括除初始状态si（1），i=1，2外等效的两个MDP。假设s（1）≥ s（1），g（s）在s中是递增的，p是单调的。ThenEt（g（s（1）））≥ 所有t的Et（g（s（1）））∈ N、现在，我们导出了关于控制状态动力学的传递概率函数的随机比较静力学结果。定理2的第（i）部分提供了确保pSTP表示Et（g（p））≥ 所有t的Et（g（p））∈ N

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:37

第（ii）部分提供了确保pCXpimplies Et（g（p））≥ 所有t的Et（g（p））∈ N、在第4节中，我们将这些结果应用于各种常用的动态优化模型。定理2设p，p∈ Ep。（i）假设pis单调，g（s，p）在s中增加，g（s，p）≥ 所有s的g（s，p）∈ S、然后是pSTP表示Et（g（p））≥ 所有t的Et（g（p））∈ N、（ii）假设pis单调且凸，g（s，p）在s和g（s，p）中是递增且凸的≥ g（s，p）表示所有s∈ S、然后是pCXP适用于Et（g（p））≥所有t的Et（g（p））∈ N、 3.2贴现因子或支付函数的变化在本节中，我们为状态变量中政策函数的单调性以及MDP其他参数中政策函数的单调性提供了充分条件，包括贴现因子和影响单周期支付函数的参数。第3.1节中的随机比较静力学结果依赖于这些单调性。因此，我们提供了模型原语的条件，以确保随机比较静力学结果。状态变量中策略函数的单调性符合Topkis（2011年2月）中提供的模型原语的条件。我们注意到，这些条件对于推导有关政策函数的单调性结果是不必要的，在某些特定应用中，人们仍然可以使用不同的技术或在不同的假设下推导这些单调性结果。回想一下函数f:S×E→ 据说R在（s，e）上的差异越来越大，例如，见Lovejoy（1987）和Hopenhayn和Prescott（1992）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-6-14 11:38:39

参见alsoSmith和McCardle（2002），了解保证值函数单调且差异递增的条件。S×E如果所有E，E∈ E和s，s∈ 因此，e eand s公司≥ s、我们有（s，e）- f（s，e）≥ f（s，e）- f（s，e）。如果-f的差异越来越大。A组B∈ 如果S，则称B（S）为上集∈ B和s≥ 简单s∈ B、转移概率p∈ 如果p（s，a，B）对于每个上限集B的差异都在增加，则Ephas随机增加差异。关于具有随机增加差异的转移概率的示例，请参见Topkis（2011）。如果s≥ s、 b类∈ G（s）和b′∈ G（s）表示max{b，b′}∈ G（s）和min{b，b′}∈ G（s）。在第八部分，如果G是上升的，那么min G（s）和max G（s）是递增函数。Topkis（2011）提供了最优政策对应G上升的条件。这些条件总结在以下假设中：假设1（i）r（s，a）在s中增加，并且差异越来越大。（ii）p是单调的，具有随机增加的差异。（iii）对于所有s，s∈ S、 S≤ 单纯形Γ（s） Γ（s）。定理3表明，在假设1下，政策函数g（s，β）在贴现因子中增加。此外，如果单期支付函数r（s，a，c）依赖于某个参数c，且差异越来越大，则政策函数在参数c中增加。定理3假设假设1成立，且Γ（s）上升。（i）设0<β≤ β< 1. T h en g（s，β）≥ g（s，β）表示所有s∈ S和d Et（g（β））≥所有t的Et（g（β））∈ N、（ii）让c∈ E是影响pa yo fff函数的参数。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:42

如果绩效函数（s、a、c）在（a、c）和（s、c）中的差异越来越大，那么g（s、c）≥ g（s，c）全部∈ S、和Et（g（c））≥ 所有t的Et（g（c））∈ N当e r c c、 3.3转移概率函数的变化在本节中，我们研究与转移函数变化相关的随机比较静力学结果。我们提供了过渡函数和支付函数的条件，以确保pSTP包含比较静力学结果和随机比较静力学结果。我们假设函数Pi的表达式为Pi（s，a，B）=Pr（m（s，a，）∈ B）对于所有B∈ B（S），其中是一个具有定律和支持V的随机变量 Rk。定理4提供了函数m的条件，这意味着在随机优势意义下，当v较高时，政策函数较高。在第4.3节中，我们提供了一个受控随机游动的n个示例，其中满足条件onm。定理4假设pi（s，a，B）=Pr（m（s，a，i）∈ B）其中m是凸的、递增的、连续的，并且在（s，a）、（s，）和（a，）中具有递增的差异；ihas the lawvi，i=1，2。r（s，a）是凸的，在s中增加，并且具有越来越大的差异。对于ALL，s∈ S、我们有eΓ（S）=Γ（S）。如果vstvthen（i）g（s，p）≥ g（s，p）表示所有s∈ S和g（S，p）在S.（ii）Et（g（p））中增加≥ 所有t的Et（g（p））∈ N、 4应用在本节中，我们将我们的结果应用于经济学和运筹学文献中的几个动态优化模型。4.1投资理论文献广泛研究了调整成本资本积累模型的资本积累（Stokey和Lucas，1989）。我们考虑具有调整成本的标准研发资本积累模型（Hopenhayn和Prescott，1992）。在该模型中，企业在有限的期限内最大化其预期贴现利润。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:45

单期收入取决于需求和公司资本。需求以马尔可夫的方式在外生进化。在每个期间，公司决定下一期间的资本水平，并产生调整成本，这取决于当前资本水平和下一期间的资本水平。利用前一节中的随机比较静力学结果，我们发现了确保未来高需求（在一阶随机支配意义上）增加预期长期资本积累的条件。我们提供以下详细信息。考虑一家最大化其预期贴现利润的公司。该公司的单周期支付函数r由r（s，a）=r（s，s）给出- c（s，a），其中s=（s，s）。收入函数R取决于外生需求冲击∈ S 注册护士-1、当前公司股本∈ S R+。状态空间由S=S×S给出。需求冲击遵循马尔可夫过程和传递函数Q。企业选择下一期的资本存量a∈ Γ（s）a并产生c（s，a）的调整成本。转移概率函数p由p（s，a，B）=1D（a）Q（s，C）给出，其中D×C=B，D是R中的可测集，C是Rn中的可测集-1，Q是S上的aMarkov核注册护士-很容易看出，如果Q是monoto-ne，那么p（s，a，B）=1D（a）Q（s，C）是单调的，并且Q标准模板pstp。假设收入函数R是连续的，差异越来越大，c是连续的，差异越来越小，而Γ（s）是上升的。在这些条件下，Hopenhayn和Prescott（1992）证明，如果Q是单调的，则策略函数g（s，p）在s中是递增的。此外，如果QstQ，然后是g（s，p）≥ g（s，p）forall s（见Hopenhayn和Prescott（1992）的推论7）。因此，定理2中的第（i）部分包括Et（g（p））≥ 所有t的Et（g（p））∈ N、命题1设Qand Qs是S上的两个马尔可夫核。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:48

假设R是连续的，差异越来越大，c是连续的，差异越来越小，Γ（s）是连续的，Γ（s）是连续的 Γ（s′）每当s≥ s′。假设q是单调的，thatQstQ。那么，在qt条件下，预期资本积累高于Q条件下，即Et（g（p））≥ 所有t的Et（g（p））∈ N、 4.2具有参考效应和不确定性记忆因子的动态定价在本节中，我们考虑具有参考效应的动态定价模型，如Popescu和Wu（2007）所述。在该模型中，需求对公司的定价历史非常敏感。特别是，消费者形成了影响其需求的参考价格。正如Popescu和Wu（2007）所述，我们认为是一个利益最大化的单一城市，在有限的时间范围内拥有同质的重复客户流。在每个时期，垄断者决定一个价格a∈ A：=[0，A]以吸引消费者。为简单起见，假设t血液边缘成本为0。由此产生的单周期支付函数为g iven byr（s，a）=aD（s，a），其中s∈ S R是当前参考价格，D（s，a）是需求函数，它取决于参考价格s和垄断收费a的价格。我们假设函数D（s，a）是连续的、非负的、p递减、s递增、差异递增，并且在s中是凸的。如果当前参考价格为s，且公式设定了a的价格，则下一期的参考价格由γs+（1）给出- γ） a（参见Opescu和Wu（2007），了解该结构微观基础的详细信息）。γ被称为记忆因子。与Popescu和Wu（2007）的模型相比，我们假设记忆因子γ不是确定性的。更准确地说，我们假设记忆因子γ是[0，1]上的一个随机变量，定律为v。因此转移概率f函数p由p（s，a，B）=v{γ给出∈ [0，1]：（γs+（1- γ）（a）∈ B} 对于a ll B∈ B（S）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:52

我们表明，即使记忆因子γ是一个随机变量，Popescu和Wu（2007）的结果也符合预期，即长期预期价格在当前参考价格的基础上增加。我们还表明，折扣因子的增加会增加当前最优价格和长期预期价格。命题2假设函数D（s，a）是连续的、非负的、在p中递减的、在s中递增的和凸的，h是递增的差。（i）参考价格中的最优定价po l i c y g（s）在增加。（ii）初始参考价格较高时，每个时期的预期最优价格较高。（iii）0<β≤ β<1表示g（s，β）≥ g（s，β）表示所有s∈ S和Et（g（β））≥所有t的Et（g（β））∈ N、 4.3受控随机游动受控随机游动用于研究受控排队系统和其他应用概率现象（例如，见Serfozo（1981））。在本节中，我们考虑R上的一个简单受控随机游动。在任何时期，系统的状态∈ R确定当前期间的奖励c（s）。下一个周期的状态由m（s，a，）=a+s+给出，其中是一个具有定律v和支持v的随机变量 R、安达∈ A是DM选择的动作。因此，该过程演化为随机游动+加上DM的动作a。当DM选择动作a时∈ A、产生c（A）的成本。我们假设 R是紧集，c（s）是增凸函数，cis是增函数。也就是说，在系统的状态下，报酬和边际报酬都在增加，而在DM选择的行动中，成本也在增加。单周期支付函数由r（s，a）=c（s）给出- c（a）和转移概率函数由p（s，a，B）=v{给出∈ 五：a+s+∈ B} 对于所有B∈ B（R）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:55

在这种情况下，当选择行动a时，DM f会在当前支付和未来支付之间进行以下权衡：虽然选择更高的行动a会带来更高的当前成本，但它会增加系统状态在下一个时期变得更好的可能性，因此，更高的行动会增加未来获得更高回报的可能性。我们研究随机变量的变化如何影响DM当前和未来的最优决策。当c（s）是凸的且在s中增加时，很容易看出过渡函数m（s，a，）=a+s+，单周期函数r（s，a）=c（s）-c（a）满足定理4的条件。因此，下列命题的证明紧随定理4。命题3假设pi（s，a，B）=Pr（a+s+i∈ B）其中ihas the law vi，i=1，2。假设c（s）是凸的，并且在s中增加。假设vstv。然后g（s，p）≥ g（s，p）表示所有s∈ S、 g（S，p）在S中增加，Et（g（p））≥所有t的Et（g（p））∈ N、 4.4平稳分布的比较平稳均衡是描述大型动态经济体的许多模型的首选解决方案概念（此类模型的示例见Acemoglu和Jensen（2015））。在这些模型中，这里是代理的连续体。每个代理都有一个单独的状态，并在给定一些参数e（通常是价格）的情况下解决一个折扣动态规划问题。参数由所有代理的聚合决策重新确定。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:38:59

非正式地说，这些模型的平稳平衡由一组参数e、一个策略函数g和S上的概率测度λ组成，因此（i）g是给定参数e的最优平稳策略，（ii）λ是给定参数e的状态动态P（S，B）的平稳分布，和（iii）参数e被确定为λ和g的函数。在λ（B）=ZSp（S，g（S），B）λ（ds）的意义下，S上平稳概率测度λ的存在性和唯一性∈ B（S）被广泛研究。现在，我们导出了与平稳分布λ如何随过渡函数p变化有关的比较静力学结果。用λ表示最小平稳y分布，用λ表示最大平稳分布。命题4假设S是R.（i）中的紧集，设Ep，ibe是所有单调转移概率函数p的集。假设G（S，p）在S×Ep，iwhere Ep，iis上递增（S，p），并赋予其阶然后，最大平稳分布λ和最小平稳分布λ在Ep，I上的p中增加，并从st.（ii）设Ep，Ic是所有单调和保凸转移概率函数p的集合。假设g（s，p）在s中是凸的，i s在s×Ep，Ic上（s，p）递增，其中Ep，Ics具有CX。然后，最大平稳分布λ和最小平稳分布λ在Ep，Ic上的p中相对于ICX。我们将命题4应用于标准研发平稳平衡模型（Huggett，1993）。存在质量为1的事前相同制剂的连续统。当代理人的收入发生变化时，他们会解决消费储蓄问题。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:39:02

每个代理人的支付函数由r（s，a）=u（s）给出- a）其中s表示代理的当前财富h，a表示代理的储蓄，s- a是代理的当前消耗量，u是代理的效用函数。因此，当代理使用- a、其单期付款由U（s）提供- a）。回想一下，如果一个效用函数的绝对风险厌恶a（c）是双曲线的，那么它属于双曲线绝对风险厌恶（HARA）效用函数。也就是说，如果平稳均衡模型被用来研究广泛的经济现象。例如，行业均衡模型（Hopenhayn，1992）、异构代理宏观模型（Huggett，1993）和（Aiyagari，1994）等等。例如，见Hop e nhayn和Prescott（1992），Kamihigashi和Stachurski（2014），andFoss等人（2018）。最大固定点的存在性由Tar-ski固定点定理保证。更多详细信息，请参见附录和Topkis（2011）。为简单起见，我们假设所有代理都是事先相同的，即代理具有相同性函数和转移函数。该模型可以推广到事前异质性的情况。A（c）：=-u′（c）u′（c）=c的ac+B>-文学士。我们假设u在HARA类中，并且效用函数的导子u′是凸的。储蓄仅限于单一无风险债券。当代理人储蓄一定金额时，他们下一期的财富由Ra+y给出，其中R是无风险债券的回报率andy∈ Y=[Y，Y] R+是代理商下一期的劳动力或收入。代理人的劳动收入是一个具有ν定律的随机变量。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:39:06

因此，转移函数由p（s，a，B）=ν{y给出∈ Y：Ra+Y∈ B} 。代理可以从中选择其储蓄水平的集合由Γ（s）=[s，min{s，s}]给出，其中s<0是借款限额，s>0是储蓄上限。平稳均衡由概率测度λ在S=[S，（1+r）S+y]、收益率r和平稳储蓄政策函数g上给出，使得（i）g是最优的给定r，（ii）λ是平稳分布g，即λ（B）=RSp（S，g（S），B）λ（ds），以及（iii）市场明确，储蓄的总供给等于储蓄的总需求，即Rg（S）λ（ds）=0。如果代理的效用函数在HARA类中，那么储蓄政策函数G（s）是凸的且是递增的（参见Jensen（201 7））。很容易看出，p是凸性保留且单调的。此外，当u′是凸的，则策略函数g（s，p）在p中相对于凸阶递增，即g（s，p）≥ g（s，p）当ERPCXp（见灯（2 018a））。因此，建议4的第（ii）部分暗示，当劳动力收入不确定性增加时（即pCXp），最高部分均衡（R固定时）财富不平等和最低部分均衡财富不平等增加（即λICXλ）。本文研究了在马尔可夫决策过程中，当前和未来的最优决策是如何随着优化问题参数的变化而变化的。我们提供了关于马尔可夫决策过程原语的简单有效条件，以确保比较静态结果和随机比较静态结果。我们展示了运筹学和经济学不同领域的各种模型满足我们的充分条件。6附录6.1第3.1节定理1的证明。对于t=1，由于u=u，结果微不足道。假设utDut对于某些t∈ N

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:39:10

首先注意，对于每个可测函数f:S→ R和i=1，2我们有zsf（s′）ut+1i（ds′）=zsf（s′）Pi（s，ds′）uti（ds）。（2）要了解这一点，首先假设f=1b，其中B∈ B（S）和1是集合B的指示符函数。我们有zsf（S′）ut+1i（ds′）=ut+1i（B）=ZSpi（S，g（S，ei），B）uti（ds）=zsb（S′）pi（S，g（S，ei），ds′）uti（ds）=zsf（S′）pi（S，ds′）uti（ds）。一个标准参数表明等式（2）适用于每个可测函数f。现在，假设f∈ D、我们有zsf（s′）ut+1（ds′）=zsf（s′）P（s，ds′）ut（ds）≥ZSZSf（s′）P（s，ds′）ut（ds）≥ZSZSf（s′）P（s，ds′）ut（ds）=ZSf（s′）ut+1（ds′）。第一个不等式出现在f之后∈ D、 Pis保D和utDut.第二个不等式自P（s，·）起DP（s，·）。因此，ut+1Dut+1。我们得出以下结论：tutDut对于所有t∈ N、推论1的证明。我们证明了P（s，·）是保I的所有s的stP，·）∈ S、让f:S→ R是一个增函数，设e e、因为p是单调的，g（s，e）在s中是递增的，如果s≥ THENZSF（s′）p（s，g（s，e），ds′）≥ZSf（s′）p（s，g（s，e），ds′）。因此，Pis I-保持。让我们∈ S、自g（S，e）≥ g（s，e）和p是单调的，我们有zsf（s′）p（s，g（s，e），ds′）≥ZSf（s′）p（s，g（s，e），ds′）。因此，P（s，·）stP（s，·）。根据定理1，我们得出结论：ut所有t的stut∈ N、我们有zsg（s，e）ut（ds）≥ZSg（s，e）ut（ds）≥ZSg（s，e）ut（ds），它证明了Corolla r y。定理2的证明。（i）假设pstp。我们证明了保I和P（s，·）所有s的stP，·）∈ S、让f:S→ R是一个递增函数。假设s≥ s、自g（s，p）≥ g（s，p）和pis单调，我们有zsf（s′）p（s，g（s，p），ds′）≥ZSf（s′）p（s，g（s，p），ds′），证明了Pis的I-保持性。让我们∈ S、由于pis单调，g（S，p）≥ 所有s的g（s，p）∈ S、和pstpwehaveZSf（s′）p（s，g（s，p），s，ds′）≥ZSf（s′）p（s，g（s，p），ds′）≥ZSf（s′）p（s，g（s，p），ds′），证明了p（s，·）所有s的stP，·）∈ S、根据定理1，我们得出结论：ut所有t的stut∈ N

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:39:19

由于g（s，p）在增加，我们有zsg（s，p）ut（ds）≥ZSg（s，p）ut（ds）≥Zg（s，p）ut（ds），证明了第（i）部分。（ii）假设pCXp。我们证明了Pis-ICX保持和P（s，·）ICXP适用于所有∈ S、让f:S→ R是一个增凸f函数。让我们，让我们∈ S和Sλ=λS+（1- λ）稳定部队0≤ λ ≤ 我们有λZSf（s′）p（s，g（s，p），ds′）+（1）- λ） ZSf（s′）p（s，g（s，p），ds′）≥ZSf（s′）p（sλ，λg（s，p）+（1- λ） g（s，p），ds′）≥ZSf（s′）p（sλ，g（sλ，p），ds′）。自pis凸性保持以来，出现了第一个不等式。第二个不等式是g（s，p）凸且不凸的。因此，RSf（s′）P（s，ds′）是凸的。第（i）部分显示t hatRSf（s′）P（s，ds′）正在增加。我们得出结论，Pis ICX保持不变。修复s∈ S、我们有zsf（S′）p（S，g（S，p），ds′）≥ZSf（s′）p（s，g（s，p），ds′）≥ZSf（s′）p（s，g（s，p），ds′）。自g（s，p）之后出现了第一个不等式≥ g（s，p）和pis单调。第二个不等式出现在p之后CXp。我们得出结论，P（s，·）ICXP（s，·）。根据定理1，我们得出结论：utICXut适用于所有t∈ N、因为g（s，p）是递增的和凸的，所以我们有zsg（s，p）ut（ds）≥ZSg（s，p）ut（ds）≥Zg（s，p）ut（ds），证明了第（ii）部分。6.2第3.2节结果的证明为了证明定理3，我们需要以下两个结果：命题5假设假设假设1成立。当（i）h（s，a，f）是一个递增函数时，其差值就会增大。（ii）G（s）上升。特别地，g（s）=max g（s）是一个增量。（iii）T f（s）=最大值∈Γ（s）h（s，a，f）是一个递增函数，只要f是递增函数。V（s）是一个递增函数。证据见Topkis（2011）中的定理3.9.2。提案6 Let（E，) 是偏序集。假设Γ（s）在上升。如果h（s，a，e，f）在（s，a），（s，e）和（a，e）中的差异越来越大，则f（s，e）=maxa∈Γ（s）h（s，a，e，f）在（s，e）中的差异越来越大。证据

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:39:23

参见Hopenhayn和Prescott（1992）中的引理1或Lovejoy（198 7）中的引理2。定理3的证明。（i）设E=（0，1）是所有可能的贴现因子的集合，赋予标准r d顺序：β≥ 如果β大于或等于β，则为β。假设β≤ β. 让f∈ B（S×E），并假设f在（S，β）中的差异越来越大，在S中的差异越来越大。让a≥ a、由于f的差异越来越大，函数f（s，β）- f（s，β）在s中增加。因为p是单调的，所以我们有zs（f（s′，β）- f（s′，β））p（s，a，ds′）≥ZS（f（s′，β）- f（s′，β））p（s，a，ds′）。重新排列最后一个不等式yieldsZSf（s′，β）p（s，a，ds′）-ZSf（s′，β）p（s，a，ds′）≥ZSf（s′，β）p（s，a，ds′）-ZSf（s′，β）p（s，a，ds′）。因为f在s中是递增的，p是单调的，所以最后一个不等式的右手边和左手边都是非负的。因此，将最后一个不等式的左侧乘以β，将最后一个不等式的右侧乘以β，可以保持它们的优良性。将t加到最后一个不等式r（a，s）的每一边- r（a，s）屈服强度SH（s，a，β，f）- h（s、a、β、f）≥ h（s、a、β、f）- h（s，a，β，f）。也就是说，h在（a，β）中的差异越来越大。类似的ous论证表明h在（s，β）中的差异越来越大。命题5保证h在s（s，a）中的差异越来越大，而T f在s中的差异越来越大。命题6意味着T f的差异越来越大。我们得出结论，对于ll n=1，2，3。。。。，Tnf具有越来越大的差异，并且在s中增加。从标准的动态编程ar guments来看，Tnf均匀地收敛到V。由于具有递增差异且在s中递增的函数集在一致收敛下是闭合的，因此vh具有递增差异且在s中递增。从上述相同的参数来看，h（s，a，β，V）在（a，β）中具有递增差异。Topkis（1978）中的定理6.1暗示，对于所有s，g（s，β）在β中增加∈ S

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:39:26

命题5意味着对于所有β，g（s，β）在s中递增∈ E、我们现在应用推论1得出结论，Et（g（β））≥ 所有t的Et（g（β））∈ N、（ii）该证明与第t（i）段的证明相似，因此省略。6.3定理4第3.3节中结果的证明。支持函数f∈ B（S×Ep）在S中是凸的和递增的，并且在EPI具有随机优势序的情况下，其差异越来越大圣·L·vstv。请注意，当且仅当m为issupermodular时（见pkis（1978）中的定理3.2），（s，a），（s，）和（a，）中m的差异越来越大。从凸函数和增函数与凸函数、增函数和超模函数的组合是凸的和超模的（见Topkis（2011）），函数f（m（s，a，），p）在（s，a）中是凸的和超模的∈ 五、由于凸性和超模性在积分下保持不变，函数rf（m（s，a，），p）V（d）在（s，a）中是凸的和超模的。因此，h（s，a，p，f）=r（s，a）+βZVf（m（s，a，），p）v（d）（3）在（s，a）中是凸的和超模的，作为凸函数和超模函数的和。这意味着T f（s，p）=maxa∈Γ（s）h（s，a，p，f）是凸的。因为h在sit中增加，所以T f（s，p）在s中增加。注意，f或任何增加函数f:s→ R我们有zsf（s′）p（s，a，ds′）=ZVf（m（s，a，））v（d）≥zff（m（s，a，））v（d）=ZSf（s′）p（s，a，ds′），so pstp。修复a∈ A、让我们≥ s、由于f（m（s，a，），p）是（s，）中的超模，函数f（m（s，a，），p）- f（m（s，a，），p）在中增加。我们有zv（f（m（s，a，），p）- f（m（s，a，），p）v（d）≥ZV（f（m（s，a，），p）- f（m（s，a，），p）v（d）≥ZV（f（m（s，a，），p）- f（m（s，a，），p）v（d）。第一个不等式自vstv。第二个不等式来自于这样一个事实，即m在s中增加，而f的差异越来越大。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:39:31

添加r（s，a）- r（s，a）到最后一个不等式的每一边意味着h在（s，p）中的差异越来越大。同样，我们可以证明h在（a，p）中的差异越来越大。命题6意味着T f的差异越来越大。我们得出结论，对于所有n=1，2，3。。。。，Tnf呈凸形，在s中增加，差异也越来越大。从标准的动态规划参数来看，Tnf一致收敛于V。由于在一致收敛条件下，具有递增差异且凸且在s中递增的函数集是闭合的，因此V具有递增差异且凸且在s中递增。从与上述相同的论点来看，h（s，a，p，V）在（a，p）和（s，a）中的差异越来越大。Topkis（1978）中定理6.1的一个应用意味着t g（s，p）≥ g（s，p）表示所有s∈ S和g（S，p）在S中增加。t ha t m增加的事实意味着p不存在。我们现在应用推论1得出结论Et（g（p））≥ 所有T的Et（g（p））∈ N、 6.4命题2第4.2节和第4.4节结果的证明。（i）让f∈ B（S）是一个凸函数。D（s，a）在s中是凸的，并且在积分下保持凸性，这意味着函数D（s，a）+βRf（γs+（1- γ） a）v（dγ）在s中是凸的。因此，由T f（s）=maxa给出的函数T f（s）∈AaD（s，a）+βZf（γs+（1- γ） a）v（dγ）在s中是凸的。一个标准的动态规划参数（见命题3的证明）表明值函数v是凸的。V的凸性意味着对于所有γ，函数V（γs+（1- γ） a）在（s，a）方面的差异越来越大。由于积分下保持了越来越大的差异，RV（γs+（1- γ） a）v（dγ）在（s，a）中的差异越来越大。由于D（s，a）是非负的并且具有越来越大的差异，因此函数aD（s，a）具有越来越大的差异。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-14 11:39:34

因此，函数d（s，a）+βZV（γs+（1- γ） a）v（dγ）的差值随着差值的增大而增大，作为函数之和。现在，Topkis（1978）中的PPLYTherms 6.1得出结论，g（s）正在增加。（ii）遵循fr om推论1。（iii）遵循与定理3证明中的论证相似的论证。我们现在介绍一些符号和证明命题4所需的结果。回想一下，一个偏序集（Z，≥) 据说这是一个关于所有x，y∈ Z、 sup{x，y}和inf{y，x}存在于Z.（Z，≥) 对于所有非空子集Z′，是一个完全格 Z元素sup Z′和inf Z′存在于Z中。关于固定点的比较，我们需要以下Pro位置。有关证明，请参见Topkis（2011）中的推论2.5.2。命题7假设Z是一个非空完备格，E是一个偏序集，f（Z，E）是从Z×E到Z的递增函数。那么f（Z，E）的最大点和最小固定点E存在，并且在E上递增。命题4的证明。设P（S）为S上所有概率测度的集合。部分有序集（P（S），st）和部分有序集（P（S），ICX）是完全点阵 R是紧凑的（见M¨uller和Scarsini（2006））。（i）定义运算符Φ：P（S）×Ep，i→ P（S）乘以Φ（λ，P）（·）=ZSp（S，g（S，P），·）λ（ds）。定理2的证明表明Φ是P（S）×Ep，i上的一个增函数，关于也就是说，对于p，p∈ Ep，iandλ，λ∈ P（S）我们有Φ（λ，P）stΦ（λ，p）每当pstpandλstλ。命题7暗示了结果。（ii）该证明类似于第t（i）段的证明，因此省略。参考Acemoglu，D.和M.K.Jensen（201 5）：“大型动态经济体中的稳健比较静态”，《政治经济学杂志》，123，587–640（20-18）：“行为新古典增长模型中的均衡分析”，工作论文。Adlakha，S.和R。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝