2 x 2游戏中学习动力的分类

2022-5-31 03:06:42

2×2游戏中学习动力的分类？Marco Pangallo、James B.T.Sanders、Tobias Galla和J.Doyne Farmer3,4,5圣安娜高等研究院经济与系嵌入研究所，Pisa 56127，曼彻斯特大学物理与天文学院意大利理论物理学院，曼彻斯特M13 9PL，牛津大学牛津分校牛津马丁学院英国新经济思想研究所，牛津牛津牛津大学OX2 6ED，英国数学研究所，牛津大学，牛津OX1 3LP，英国圣达菲研究所，圣达菲，新墨西哥州87501，美国2021年9月3日摘要有边界的理性玩家在反复玩游戏时会学习选择均衡策略吗？行为博弈论中的大量文献提出并实验测试了各种学习算法，但缺乏对其均衡收敛特性的比较分析。在这篇文章中，我们分析了经验加权吸引（EWA），它概括了行动游戏、最佳反应动力学、强化学习和同样的复制因子动力学。通过研究2×2对策的可处理性，我们在极限情况下恢复了一些众所周知的结果，其中EWA简化为它推广的学习规则，但也获得了其他参数化的新结果。例如，我们表明，在协调博弈中，EWA可能只会收敛到帕累托均衡，而不会达到帕累托均衡；在囚徒困境博弈中，它可能会收敛到相互合作的固定点；而极限环或混沌动力学可能更可能与之前游戏的较长或较短记忆有关。关键词：行为博弈论、EWA学习、收敛、均衡、混沌。果冻等级：C62、C73、D83。*通讯作者：marcopangallo@gmail.com.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:06:46

对于有帮助的意见和建议，我们感谢广告编辑和两位匿名评论员，以及文斯·克劳福德（Vince Crawford）、Cars Hommes（Cars Hommes）、山姆·豪森（Sam Howison）、裴兰娇（PeiranJiao）、罗宾·尼科尔（Robin Nicole）、卡尔·施拉格（Karl Schlag）、米哈拉·范德沙尔（Mihaela Van der Schaar）、亚历克斯·泰特尔博伊姆（Alex Teytelboym）、佩顿·杨（Peyton Young）以及2017年欧洲经济区年会、纽菲尔德学院（Nu ffeld College）、2016年伊内特·伊西（INET YSI）全体会议、赫伯特·西蒙社会国际研讨会的研讨会参与者，2016年复杂系统会议和国王学院。马可·潘加洛（Marco Pangallo）在牛津大学新经济思维与数学研究所（Institute for New Economic Thinking and Mathematic Institute）任职期间完成了本文中的研究。他感谢INET和EPSRC奖项1657725.1的财政支持。在本文中，我们研究了参与完全重复游戏的有界理性玩家。在这个游戏中，玩家在每一轮后使用adaptivelearning规则更新他们的舞台游戏策略。我们确定玩家何时收敛到纳什均衡（NE），何时收敛到非NE的平稳状态，或者何时学习动力学从不收敛到任何固定点，渐近遵循极限环或混沌吸引子。更具体地说，我们分析了经验加权吸引（EWA）的学习动态（Camerer和Ho，1999）。EWA之所以具有吸引力，有几个原因。从实验的角度来看，EWA已被证明在几类游戏中相对较好地描述了真实玩家的行为，并且在实验中仍被广泛用于建模行为。因此，我们的分析为实验中可以预期的学习动态提供了理论指导。从理论角度来看，EWA很有吸引力，因为它概括了四条著名的学习规则。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:06:49

事实上，对于其参数的某些限制值，它会降低到最佳反应动力学、各种形式的游戏（Fudenbergand Levine，1998）、强化学习以及具有有限记忆的广义双种群复制动力学（Sato和Crutch field，2003）。了解EWA下的学习行为，可以通过在各自的参数化之间进行插值来概括这四种更简单的学习算法的结果。这产生了在极限情况下可能无法观察到的新现象。我们将分析重点放在两人游戏上，在两人游戏中，相同的两名玩家在每一步重复匹配，以玩相同的阶段游戏，每个玩家有两个动作可用。这些被称为2×2游戏。我们之所以选择2×2博弈，是因为它们包含了博弈理论家通常研究的许多战略紧张关系，而且它们也很简单，可以在一些EWA参数化下对学习行为进行全面的分析表征。虽然我们无法为所有游戏和学习参数的组合提供封闭形式的解决方案，但我们提供解决方案的参数化涵盖了之前研究的大多数案例以及它们之间的转换。因此，我们的方向是为一系列学习规则和任何支付矩阵提供2×2场学习动态的“分类法”。在EWA简化为其概括的学习规则的极限参数化中，我们恢复了众所周知的结果。例如，我们的分析表明，在2×2博弈中，fictiiousplay总是收敛到一个NE（宫泽，1961）。特别是，在匹配硬币的游戏中，策略空间的中心位置会汇聚到混合策略NE，玩家可以在头尾之间以相同的概率随机选择。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:06:52

相反，在EWA减少为两个种群复制子动力学的极限情况下，它围绕匹配的便士平衡旋转，这也符合文献（Hoffauer和Sigmund，1998）。然而，根据实验数据估计的EWA参数很少与这些有限的参数化相对应，而是位于参数空间的内部（Camererand Ho，1999）。这一经验事实使我们有必要了解参数的一般值会发生什么。离开参数空间的“边界”也会产生一些新现象。例如，再次考虑到匹配的便士游戏、游戏和复制者动态学习规则，记忆在促进趋同到平衡中的作用并不是微不足道的。在实际游戏中，较长的记忆使趋同更可能达到平衡。事实上，虽然具有有限记忆的游戏的标准版本总是会收敛到匹配硬币的混合NE，但具有有限记忆的游戏版本却不会。相反，具有有限记忆的标准（两种群）复制子动力学并不收敛于混合NE，而我们表明，一个完整记忆泛化会收敛于混合NE。较长的记忆如何可能在实际应用中促进均衡收敛，而在复制子动力学中却有相反的效果？我们对EWA学习的分析解释了这种差异，并在参数空间中确定了一个精确的边界，在这个边界上，记忆对稳定性的影响是显著的。我们的研究表明，这取决于经验和吸引力这两个EWA关键组成部分的增长速度。当这两个数量以相同的速度增长时，就像在实际游戏中一样，玩家会对之前经历的支付和新支付进行加权平均，而更长的记忆意味着新支付的权重更小。因此，更长的记忆直观地促进了稳定性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:06:55

相反，当体验增长不到或增长速度慢于景点时，较长的记忆并不意味着新的支付权重较低。在这种情况下，较短的记忆有助于趋同，因为快速忘记过去的付出会使玩家更有可能在他们的动作之间随机化，而没有任何玩家被强烈吸引到前倾或尾部。另一个具体例子表明，在理解2×2协调博弈中帕累托均衡的收敛性时，超越EWAis的极限情况是有用的。这样的游戏有两个纯NE可以进行帕累托排序。对于简单的学习规则，如游戏或复制动态，帕累托效率NE始终是局部稳定的。这意味着，如果参与者开始时充分接近这种平衡，他们将永远留在那里。我们的分析表明，对于EWA参数的某些值，和/或对于非常强的效率（即，帕累托最优NE明显优于其他NE），帕累托效率NE可能不再是局部稳定的。换句话说，玩家永远不会停留在那里，总是收敛到帕累托最优NE。最后一个例子涉及囚徒困境游戏。（与本文研究的其他游戏相比，在这些游戏中，我们对舞台游戏策略的限制可能不太现实。事实上，与历史相关的策略，如针锋相对的策略，已经多次被证明具有实验相关性。）在最佳反应动力学、主动游戏和复制动力学下，双方合作的动作角色永远不会是局部稳定的。这是因为，在这三条规则下，玩家总是会考虑放弃支付。如果他们开始操作，当考虑放弃支付时，他们意识到，通过单方面切换到缺陷，他们可能会获得更高的支付。然而，在强化学习下，合作固定点可以是局部稳定的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2022-5-31 03:06:58

梅西（Macy）和弗莱奇（Flache）（2002）以随机共谋的名义证明了这一点：因为在强化学习中，玩家不考虑放弃支付，他们没有意识到切换到缺陷会产生更好的支付，而合作可能是一个稳定的结果。有用的是，其中一个EWA参数插在两个极端之间，在这两个极端情况下，参与者完全考虑或忽略放弃的支付。这使得有可能精确地确定相互合作不再是稳定结果的点，这取决于此参数和支付。从实际角度来看，我们的挑战是确定13维参数空间的特征，由八个完全决定2×2游戏的支付、四个EWA参数和学习规则的选择组成，学习规则可以是确定性的，也可以是随机的（见下文）。我们的参数空间探索计划是模块化的：我们首先考虑具有最少数量自由参数的基线场景，然后研究涉及改变基线场景中固定参数的各种范围。由于EWA的强非线性，我们无法为每个参数组合提供一个通用的闭式解。然而，我们提供了一个例子，在这个例子中，我们可以根据我们研究的场景定性地理解我们没有明确探索的部分参数空间中的学习行为。我们开始介绍符号并定义第2节中2×2游戏的相关类。然后，我们在第3节中定义了EWA学习规则。之后，在第4节中，我们对主要结果进行了定性概述，将其放在上下文中。该结果与基于随机稳定性的预期结果相似（Young，1993），但在完全不同的框架中获得。请注意，EWA可能会对依赖历史的策略进行建模。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:01

例如，Galla（2011）考虑了囚徒困境和三种依赖历史的策略，总是合作（AllC）、总是缺陷（AllD）和以牙还牙（TFT）。这些依赖历史的策略产生的阶段性博弈和相互对抗的回报定义了一个可以运行EWA的博弈。我们将此类案例的研究留给未来的工作。此外，我们注意到，如果从人口动力学的角度来解释EWA，那么阶段性游戏策略在囚犯困境中可能更为现实：每一步，一个群体中的某个玩家都会与另一个群体中的某个随机游戏者进行一次一次性游戏。在这种情况下，依赖历史的策略（如TFT）很难实现，因为玩家不知道他们将与谁对抗。严格地说，学习规则的随机性不是一个参数，而是我们情景分析的一个维度。文学这一概述比导言中给出的更为详细，其目的是在引入相关符号后，提供对结果的更深入理解，而无需深入研究数学分析的技术细节。然后讨论一些有助于分析的简化，并在第5节中制定参数空间探索计划。接下来，我们分析第6节中的基线场景，并考虑第7节中基线场景中未包含的参数空间维度。第8节结束。大多数数学证明都在附录中，其他结果可以在补充附录中找到。2类2×2博弈尽管非常简单，但2×2博弈包含了博弈论者研究的许多战略紧张关系。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:04

在下文中，我们将2×2游戏分为一些类别，这些类别对应于一些战略紧张局势，有助于理解学习动态的结果。我们考虑两个玩家，两个动作游戏。我们通过u对这两个参与者进行索引∈ {Row=R，Column=C}并为playeru的两个动作写入sui，i=1，2。像往常一样，我们写-u代表玩家u的对手。当两个玩家选择动作su和s时-ujplayeru接收payoff∏u（sui，s-uj）和她的对手收到payoff∏-u（sui，s-uj）。这可以编码在Payoff s∏、sCsCsRa、eb、gsRc、fd、h（1）的2×2双矩阵中，其中位置元素（sRi，sCj）表示Payoff s∏R（sRi，sCj），C（sRi，sCj）。例如，如果两个玩家玩动作sr和sC，则支付的是b到玩家行和gto玩家列。在学习过程中，两名玩家可以使用混合策略，即玩家R使用概率x玩动作Sr，使用概率1玩动作Sr-x、类似地，玩家列使用概率y和概率1来播放sCwith probability y和sCwith probability 1- y、 player R的（时间相关）策略编码在变量x（t）中，player列的策略编码在变量y（t）中。这些变量中的每一个都被限制在0到1之间的间隔内。根据人们想看的游戏的属性，可以构建2×2游戏的几种分类。也许最著名的分类是由Rapoport和Guyer（1966）提出的，他们构建了所有不同的游戏，可以通过以所有可能的方式排序两个玩家的支付来获得。我们下面的分析表明，对于许多参数的选择，我们不需要对支付矩阵进行如此细粒度的分类来将直觉构建到EWA学习动态的结果中。当支持方的行为保持不变时，考虑对一方支付的成对顺序就足够了。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-5-31 03:07:07

例如，当列的动作固定为sC时，玩家R的a和c之间的比较，以及当列的动作固定为sC时，b和d之间的比较。原则上有2=16个这样的成对排序。出于我们的目的，我们可以将这些排序分为4个类，如表1所示。这些类别还通过纳什均衡的数量、类型和位置来区分。协调和反协调游戏。这些对应于顺序a>c，b<d，e>g，f<h（协调博弈）和a<c，b>d，e<g，f>h（反协调博弈）。协调游戏有两个纯策略NE，一个是at（sR，sC），我们的分类相对标准，例如，它非常接近Hofbauerand Sigmund（1998）第10章中的分类。反协调和协调游戏可以看作是等效的，因为每种类型的游戏都可以通过重新标记一个玩家的一个动作从另一个玩家那里获得（例如，将sr重命名为sr，反之亦然）。然而，博弈支付的纳什均衡类例如协调A>c，b<d，e>g，f<h。两种纯策略（sR，sC），（sR，sC）和一种混合策略NE。0.0 0.5 1.0x0.00.51.0y∏=5、5、1、11、1、4、4反协调a<c，b>d，e<g，f>h。两种纯策略（sR，sC），（sR，sC）和一种混合策略NE。0.0 0.5 1.0x0.00.51.0y∏=1、1、5、44、5、1、1周期>c，e<g，b<d，f>h；a<c，e>g，b>d，f<h。独特的混合策略。0.0 0.5 1.0x0.00.51.0y∏=5.-5 1、11、14、，-4.支配性LVABLEA>c、e>g、b>d、f>h和所有其他11种排序。独特的纯策略NE。0.0 0.5 1.0x0.00.51.0y∏=1、1、3、00、3、2、2表1：双人、双人动作游戏的相关类别。博弈的类别是根据支付的成对排序或等价地根据纳什均衡的数量、类型和位置来确定的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:12

对于每一类游戏，我们还提供了一个示例Payoff矩阵∏，以及NE在空间中的位置，该空间由概率x和y分别定义，以执行动作Sr和Sc。其他at（sR、sC）。此外，还有一种混合策略NE。协调游戏的两个著名例子是猎鹿和两性之战（Osborne和Rubinstein，1994）。反协调游戏也有两种纯策略和一种混合策略NE，但在纯策略NE中，玩家选择具有不同标签的策略，即（sR，sC）和（sR，sC）。一个著名的反协调游戏的例子是鸡。循环游戏。这些对应于顺序a>c，e<g，b<d，f>h或a<c，e>g，b>d，f<h。这种类型的游戏的特点是一个最佳回复周期。例如，如果考虑第一组排序，则列toplay sC对SRI的最佳响应。在响应中，行将选择sR，列将播放sC，并且过程将永远不会收敛到固定点。循环对策有唯一的混合策略NE，没有纯策略NE。典型的循环博弈是匹配便士，这是一种零和博弈，但循环博弈一般不需要是零和或常和。支配可解游戏。这些订单包括所有剩余的12个订单。这些游戏有一个独特的纯策略NE，可以通过消除支配策略获得。例如，如果a>c，e>g，b>d，f>h，则NE是（sR，sC）。众所周知的保护者困境是一个2×2优势可解博弈。（表1所示的优势可解博弈是一个囚徒困境。）我们的部分分析将基于对称博弈，一旦对称约束被强制执行，反协调博弈和协调博弈的一些性质将变得不同。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:15

因此，为了说明清楚，我们将协调博弈与反协调博弈区分开来。3经验加权吸引学习经验加权吸引（EWA）由Camerer和Ho（1999）引入，概括了两大类学习规则，即强化学习和信念学习。通常假设使用强化学习的玩家根据这些动作在过去游戏中产生的表现来选择自己的动作。相反，使用信念学习的玩家通过构建一个他们认为对手将要玩的动作的心理模型来选择他们的动作，并对这个信念做出反应。Camerer和Ho（1999）指出，这两类学习规则限制了更一般的学习规则，即EWA。联系在于玩家是否考虑在更新中放弃支付。如果他们这样做了，对于一些参数，EWA将简化为信念学习。如果他们不这样做，就会减少对学习的强化。EWA在这两个极端之间进行插值，并允许更一般的学习规范。我们考虑一个在离散时间t=1，2，3，…，重复玩的游戏。。在EWA中，玩家在每个时间步更新两个状态变量。第一个变量N（t）被解释为经验，因为它随着游戏的进行而单调增长。经验的主要直觉是，游戏玩得越多，相对于过去玩相同动作的经验，玩家可能越不愿意考虑通过玩某些动作获得的新回报。第二个变量Qui（t）是玩家u对动作sui的吸引力（每个动作有一个吸引力）。吸引力的增加或减少取决于实现或放弃的回报是积极的还是消极的。更正式地说，经验N（t）更新如下：N（t）=ρN（t-1） +1。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:18

（2）在上面的等式中，游戏的每一轮都会增加一个单位的经验，尽管之前的经验会被系数ρ打折。当ρ=0时，经验永远不会增加，而ρ=1表示经验无限增长。对于所有其他值ρ∈ （0，1），N（t）最终收敛到由N？=1/（1）- ρ）。每轮比赛后，景点更新如下：Qui（t）=（1- α） N（t）-1） Qui（t- 1） N（t）+[δ+（1- δ） I（suI，su（t））]πu（suI，s-u（t））N（t）。（3）第一学期将为之前的景点提供折扣。记忆丢失参数α∈ [0，1]确定以前的景点打折的速度：当α=1时，玩家立即放弃所有以前的景点，而α=0表示不打折。第二学期inEq。（3）是作用sui的吸引力增益或损失。术语∏u（sui，s-u（t））是玩家u将从playingaction sua获得的对动作s的报酬-u（t）实际上是由其他玩家在时间t时选择的。我们注意到，我们尚未指定u是否实际玩过suior。参数δ∈ [0，1]控制u的动作吸引力如何更新，这取决于玩家udidor是否玩过特定动作。术语I（suI，su（t））是指示符函数，如果玩家u在时间t内完成动作，则返回1，否则返回0。因此，如果δ=1，则玩家u对其所有动作的吸引力都会以相等的权重进行更新，无论u玩的是什么动作。也就是说，玩家会考虑已放弃的支付。另一方面，如果δ=0，则只会更新实际玩过的动作的吸引力。中间值0<δ<1在这些极值之间插值。无论玩家是否考虑放弃支付，当经验N（t）较大时，等式（3）中的第二项都很小。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:20

这正式证明了上述直觉，即经验丰富的玩家可能不会重视新体验的支付。在更新经验公式（2）中，我们遵循Ho等人（2007），并将参数ρ重新定义为ρ=（1- α）（1）- κ）。由于参数κ∈ [0，1]可以更清楚地在EWA概括的各种学习规则之间进行插值（见第3.1节）。由于α固定后，κ决定ρ，因此我们将κ称为经验贴现率。如果κ是不受限制的，这就不会失去一般性，因为除了α=1之外，可以获得任何最佳响应dynamiclogit dynamics加权虚拟usplay随机虚拟usplayStandard虚拟usplayStandardReplicator dynamics有限内存replicatordynamics信息学习Logit dynamics图1：由EWA概括的学习规则。在这张图中，左侧显示了三个EWA参数：无记忆α、支付敏感性β和经验折扣κ。我们将剩余参数，即给定的权重乘以δ=1。在右边，我们fixκ=1，并显示其余参数α、β、κ。有关更多详细信息和学习规则的讨论，请参阅正文。在EWA中，混合策略是根据景点使用logit规则确定的，seeCamerer和Ho（1999）。例如，玩家行在时间t玩纯策略的概率由x（t）=eβQR（t）eβQR（t）+eβQR（t），（4）给出，y（t）也有类似的表达式。参数β≥ 在离散选择模型中，0通常被称为选择强度；它量化了玩家在选择动作时，考虑不同动作的吸引力的程度。在极限β内→ ∞, 例如，玩家严格选择吸引力最大的动作。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:23

当β=0时，吸引力是不相关的，玩家以相同的概率随机选择他们的动作。3.1 EWA的特殊情况在这里，我们给出了EWA简化为其概括的学习规则的参数限制（图1）。当δ=0时，EWA减少为强化学习。一般来说，强化学习对应于这样一种观点，即玩家只会考虑他们所获得的回报来更新他们的吸引力，因此忽略放弃的回报。文献中已经考虑了强化学习的各种规格。例如，在Erev和Roth（1998）中，景点与概率呈线性映射，而Mookherjee和Sopher（1994）则考虑了logit映射inEq。（4）。根据κ的值，当κ=0时，可以进行平均强化学习，当κ=1时，可以进行累积强化学习。这两种情况的不同之处在于，在平均强化中，玩家考虑给定回合和过去景点的加权平均回报，而在累积强化中，他们在不打折过去景点的情况下累积所有回报。情况α=1，β=+∞, δ=1，对于κ的所有值∈ [0，1]是最佳响应动力学。在最佳反应动力学下，每个玩家只考虑对手的最后一个动作（之前表演的记忆完全丧失，α=1），并确定地对该动作做出最佳反应（β=+∞). 要做出最佳反应，通常需要充分考虑玩家在前一轮游戏中没有采取的行动（δ=1）。值ρ∈ [0，1]通过选择合适的κ。下面，我们将重点讨论κ∈ [0，1]，但我们的分析可以很容易地扩展到κ的一般值。情况α=0，β=+∞, δ=1（和κ=0）对应于活动间隙。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:27

与最佳反应动力学不同的是，玩家对对手行为的经验分布有明确的记忆和最佳反应，他们将其作为对手固定策略的估计。虚构游戏由Brown（1951）和Robinson（1951）提出，作为发现游戏内线的方法，后来被解释为一种学习规则。重新定义有限记忆假设，以α为例∈ （0，1）对应于加权的fictiousplay，因为最近的游戏历史在估计对手的混合策略时具有更大的权重。相反，如果α=0，但β<+∞, 玩家并没有确定地选择最吸引人的动作，而是随机进行。最佳反应动力学和主动游戏都是信念学习的实例，因为在这两种情况下，玩家都会形成对对手的信念，并对这些信念做出反应。等式（3）中可能没有这一点，它以一种更接近强化学习的方式更新了吸引力。然而，Camerer和Ho（1999）表明，只要δ=1和κ=0，给定信念的预期支付动态与EWA动态是相同的。第一个条件是直观的：为了计算预期收益，玩家需要同时考虑他们玩过的动作和没有玩过的动作。第二个条件更具技术性：它要求景点和体验的折扣率相同。EWA概括的另一个学习动态是复制器动态。极限β→ 0，α=0，δ=1和κ∈ （0，1），导致两个种群复制子动力学（推导见补充附录S1）。相反，假设α为正，但很小，即α→ 0（s.t。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:30

α/β比值是有限的）我们得到了一个广义的具有有限记忆的双种群复制子动力学，最初由Sato和Crutch field（2003）提出。最后，当α=1、δ=1和κ=1时，EWA是所谓的逻辑动力学的离散时间版本；当α=0、δ=1和κ=1时，它减少到所谓的模拟或i-logitdynamics。然而，应该注意的是，这两种动力学通常都是在连续时间内研究的（Sandholm，2010）。4概述我们继续概述。我们的目标是让读者对结果及其在文献中的地位有一个比导言更深入的理解，而无需从第5节开始深入数学分析的技术细节。我们讨论了如何在图1中保留参数空间的边界，以提供在关注EWA概括的学习算法时可能会遗漏的新见解。我们从κ=0，δ=1的情况开始。这对应于图1左面板中的下平面，其中EWA简化为各种形式的信念学习。在这里，众所周知，在所有支配可解对策中，最佳反应动力学总是收敛于纯策略NE；它可以在协调和反协调博弈中收敛到纯均衡，但根据初始条件，它也可能在非均衡的纯策略博弈之间来回“跳跃”；在循环博弈中，它总是围绕着纯策略进行循环。相反，在所有非退化的2×2游戏中，游戏都会收敛到NE（其中之一）（宫泽明，1961；蒙德里尔和塞拉，1996）。这在加权游戏中不再适用，因为斯塔尔（1988）表明，这种学习过程在周期游戏中不会收敛，但在所有其他2×2游戏中会收敛到NE。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:33

最后，在随机游戏的情况下，学习收敛于量子反应平衡（McKelvey和Palfrey，1995；Fudenberg和Kreps，1993；Benaim和Hirsch，1999），最终内部的固定点，有限记忆和有限选择强度的组合，即α∈ （0，1），β<+∞, δ=1（再加上κ=0），导致加权随机效应。Camerer和Ho（1999）还讨论了对体验和景点初始条件的限制，N（0）和Qui（0）。初始条件对于理解实验游戏也很重要。在本文中，我们关注EWA的长期动力学，以便于分析可处理性，因此我们不强调初始条件的重要性。我们的推导与B¨orgers和Sarin（1997）和Hopkins（2002）不同，因为这些作者考虑了Erev和Roth（1998）提出的强化学习的一个版本，其中吸引力与概率成线性关系。我们使用logit表单。因此，我们得到了不同的连续时间限制。最佳响应DynamicLogit DynamicsStandardReplicator DynamicsWeighted虚拟播放标准虚拟播放随机虚拟播放标准Replicator DynamicsEnhancementLearningLimited MemoryReplicator DynamicsCoordinationGameDominanceGameCyclicGame图2：不同参数和游戏下学习结果的定性表征。我们考虑通过图1所示的参数空间进行四次切割。特别是，我们考虑由限制条件κ=0，δ=1确定的平面；κ=1，δ=1；κ=0.25，δ=1；κ=1，α=0。对于三个博弈，我们考虑了学习的渐近结果的所有可能性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-5-31 03:07:36

（i）在青色地区，学习会收敛到一种多重NE；（ii）在蓝色区域，它会收敛到多个固定点中的一个，这些固定点位于纯NE或替代纯战略文件的“附近”；（iii）在橙色地区，它收敛到一个独特的纯策略NE；（iv）在yellowzones，学习达到一个独特的固定点，该点靠近纯NE或另一个纯策略文件；（v）在绿色区域，它会收敛到战略空间中心的一个固定点；（vi）在红色区域，它不会收敛到任何固定点。在右边，我们展示了EWA简化为其推广的算法的参数限制。战略空间。我们对参数空间的系统化描述将所有这些结果恢复为特例，精确地描述了固定点的位置和稳定性。例如，在随机博弈（α=0）和协调博弈的情况下，我们表明，随着β变小（从蓝色区域过渡到黄色区域），帕累托次纯NE附近的固定点消失，最终对于非常小的β，唯一稳定的固定点位于参数空间的中心。此外，我们还表明，对于α和β的一般值（即平面内部），记忆损失α并不决定协调和优势博弈中固定点的位置和稳定性。然而，它确实决定了循环对策中唯一混合策略固定点的可确定性。特别是，当α增长时（即玩家的记忆变短），对于给定的β值，固定点很可能变得不稳定。随着β的增长，固定点也变得不稳定。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:39

对于这些对κ和δ的限制，较短的记忆和对支付的更多反应导致玩家在混合策略固定点周围循环，而无法螺旋式进入。另一个有趣的例子是图1（左）中的上平面，对应于κ=1和δ=1。在这里，EWA简化为最佳响应动态、logit动态和replicatordynamics。logit动力学在协调和优势博弈中达到量子响应平衡，在循环博弈中具有超临界Hopf分岔（Sandholm，2010）。标准（两种群）复制子动力学在2×2博弈中得到充分描述（Hoffauer和Sigmund，1998）（第10章）。它在所有2×2对策中收敛于NE，循环对策除外，循环对策中它围绕唯一的混合策略NE循环。加权游戏也很少被研究。Cheung和Friedman（1997）实验测试了加权随机游戏的种群动力学版本。它们还从理论上表明，对于参数β的某个值，在循环和收敛到平衡之间存在过渡。Benaim等人（2009年）也研究了加权随机游戏，但以α为界限→ 0，β→ ∞, 并找到他们提出的解决方案概念的一致性。我们的分析再次再现了这些结果。例如，可以看到α=1处的唯一固定点失去了β的固定值的稳定性，这表明可能正在发生跳跃分叉。我们的分析还可以获得新的结果。在协调和优势博弈中，我们发现固定点属性作为α和β的线性函数变化，即α/β的比率才是关键。在（α，β）平面的左下角矩形中也是如此，该矩形表示复制子动力学的细节。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:42

此外，这种学习规则总是收敛于循环博弈的唯一混合固定点，与围绕同一固定点的标准复制因子动力学相反（从图中看，这一结果并不明显，因为需要取极限α→ 0，β→ 0，s.t.α/β是有限的）。有趣的是，在这种情况下，较短的内存使固定点更可能是稳定的，与加权随机效应播放（κ=0，δ=1）的情况相比。记忆对稳定性的影响在κ=0.25，δ=1平面上变得更加模糊。这里，对于与绿色和红色区域兼容的β值（即（α，β）平面中两次切割两个区域边界的水平线），更短或更长的内存可能会使唯一的混合固定点不稳定。定义边界的函数斜率的转换精确地发生在α=κ=0.25处。在协调和优势博弈中，固定点的特征介于κ=0和κ=1之间。最后，我们确定κ=1和α=0，并探索（δ，β）平面。在这种情况下，参数β对固定点没有影响，而是由δ确定。在协调对策中，当δ>1/5时，EWA动力学总是收敛到两个纯NE中的一个。然而，当δ<1/5时，它可以收敛到对应于剩余两个纯策略文件的固定点。更有趣的是，在我们所考虑的囚徒困境主导可解博弈中，相同的收敛到不存在的固定点。当δ>2/3时，学习动力的唯一固定点是（sR，sC）动作文件，这也是游戏的唯一性。这一NE比（sR，sC）弱，但玩家无法在帕累托最优行动计划上进行协调，因为他们考虑放弃支付，以免偏离sRorsC。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:45

然而，当δ<2/3时，他们忽略了放弃的支付“足够”使（sR，sC）成为一个稳定的固定点。梅西（1991）和梅西与弗拉奇（2002）也给出了类似的论点，他们分析了密切相关的布什-莫斯特勒学习算法（布什和莫斯特勒，1955），重点是囚犯困境博弈。他们引入了随机共谋的概念：两个参与者汇聚到一个合作定点，并保持合作，因为他们没有意识到单方面叛逃会更有回报。在不同的背景下，我们的分析再现了这一结果。（如引言所述，如果学习动力学被解释为代表大量学习代理中的一种互动，那么我们的结果很可能与实验相关。）最后一点是，在图2所示的周期图中，当δ<0.25时，学习收敛到多个纯策略中的一个。在其他循环博弈中，它可能会收敛到位于策略空间边缘和中心的各种固定点之一（第7.3节）。5初步步骤在本节中，我们准备分析EWA学习的结果。我们首先讨论了一些有助于分析的简化方法（第5.1节）。然后，我们介绍了探索参数空间的计划（第5.2节）。5.1简化作为第一个简化，我们关注学习的长期结果，并假设经验N（t）取其固定点值N？=1/（1）- （1）- α）（1）- κ））。只要（1-α）（1）-κ） <1，但在实践中，对于大多数值，除非α=0和κ=0，否则该限制始终有效，如在标准和加权有效区中。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:49

然而，通过取极限α，可以事后恢复这些学习规则的收敛性→ 稳定性分析中的0（见第7.2节）。参数，N？在几个时间步后到达。将上述固定点代入（3），更新规则变为平方ui（t）=（1-α） Qui（t-1） +[1- （1）- α）（1）- κ） ][δ+（1- δ） I（suI，su（t））]πu（suI，s-u（t））。（5）我们的第二个简化是对学习动态进行确定性限制。通常，学习动力本质上是随机的。事实上，当从反复玩阿加梅中学习时，在每一轮中，球员只能观察对手的一个动作，而不能观察她的混合策略。对手选择的动作是从其混合策略向量中随机采样的，因此学习动态本质上是有噪声的。在本文中，“确定性近似”指的是，玩家在更新其吸引力之前，会相互对抗一定次数，因此他们的行为的经验频率与他们的混合策略相对应。克劳福德（Crawford，1974）早就提出了这种观点，康利斯克（Conlisk，1993）在“两个房间的体验”方面也证明了这一点：玩家只能通过电脑控制台进行互动，并且需要在知道对手的动作之前指定一些动作。该假设从理论角度来看是有用的，并且在大多数情况下不会影响结果（第7.4节）：允许噪声时的唯一区别是动力学特性的模糊。考虑到玩家列使用混合策略y（t），我们将∏Ri（y（t））写入玩纯策略sRiat时间t对玩家行的预期回报。例如，对于sRi=sR，预期收益为∏R（y（t））=ay（t）+b（1- y（t））。类似地，我们为《玩动作sCj》中的“玩家预期报酬”列写∏Cj（x（t）），为玩家行的固定混合策略x（t）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:51

指示符函数I（suI，su（t））可以由相应的混合策略组件代替，例如I（sR，sR（t））→ x（t）。可以组合等式。（4）和（5）来表示x（t），y（t）的闭映射。x（t+1）=x（t）1-αeβИκ[δ+（1-δ） x（t）]∏R（y（t））x（t）1-αeβИκ[δ+（1-δ） x（t）]∏R（y（t））+（1-x（t））1-αeβИκ[δ+（1-δ）（1）-x（t））]πR（y（t）），y（t+1）=y（t）1-αeβИκ[δ+（1-δ） y（t）∏C（x（t））y（t）1-αeβИκ[δ+（1-δ） y（t）]∏C（x（t））+（1-y（t））1-αeβИκ[δ+（1-δ）（1）-y（t））]πC（x（t）），（6）式中▽κ=1-（1）-α）（1）- κ）。通过取极限α，我们可以得到等式（6）的连续时间版本→ 0和β→ 0，因此α/β的比率是有限的。更多详情见补充附录1。当δ=1且α=0时，β→ 0，EWA学习简化为复制器动力学的标准形式。当α>0（虽然很小）时，EWA减少为具有有限记忆的复制子动力学的一般形式（Sato and Crutch field，2003；Galla and Farmer，2013）。我们的第三个简化只有在玩家充分考虑放弃支付时才有效，即δ=1。在这种情况下，可以引入简化动力学的坐标变换，并有助于使EWA的研究在分析上易于处理。具体而言，我们引入了转换x=-ln公司x个- 1.,y=-ln公司y- 1.,（7）仅对战略空间x，y内部的x，y有效∈ （0，1）。从数学上讲，这种坐标变换是一种差同态；这使得DynamicBloom油田的属性（1994）在实验装置中实现了这一想法。Cheung和Friedman（1997）还考虑了一个匹配协议和一个群体设置，在这个群体中，球员与其他群体中的所有球员匹配。这在激发混合策略方面也有类似的效果。雅可比或李雅普诺夫指数等系统不变（Ott，2002）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:54

原始坐标限制为x（t）∈ （0，1）和y（t）∈ （0，1），整个实轴上的变换坐标INSTEADTAK值。纯策略（x，y）∈ {（0，0），（0，1），（1，0），（1，1）}在原始坐标中映射到（▄x，▄y）∈ {（±∞, ±∞)} 在变换后的坐标中，0映射到-∞ 和1映射到+∞ （但对于这些值，转换无效）。根据变换后的坐标（并假设δ=1），地图（6）的读数为x（t+1）=（1-α） x（t）+β[1- （1）-α）（1）-κ） ]（A tanh▄y（t）+B），▄y（t+1）=（1- α） y（t）+β[1-（1）-α）（1）- κ） ]（C tanhx（t）+D），（8）式中=（a+D-b-c），B=（a+B-c-d），C=（e+h-f- g），D=（e+f- g级- h）。（9）等式（8）强调，当δ=1时，游戏仅通过四种支付组合A、B、C和D进入。广义上，参数A的正值表示玩家行对类型（sR，sC）或（sR，sC）的结果相对于结果（sR，sC）和（sR，sC）的参考。同样，C的正值表示玩家列对结果（sR，sC）或（sR，sC）的偏好。这些动作组合是Payoff矩阵主对角线上的动作组合。相反，如果A为负，则玩家行更喜欢payoff矩阵中的off-对角线组合，同样，当C为负时，玩家列更喜欢off-对角线组合。对角线或反对角线组合的这些偏好强度由球员行的模量| A |和球员列的模量| C |决定。参数B是衡量玩家行的第一个动作相对于秒的优势，类似地，D衡量玩家列的第一个动作相对于秒的优势。2×2博弈的类也可以基于a、B、C和D建立。命题1。考虑一个两人两幕的游戏。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:07:57

以下陈述认为：（i）如果| B |>A |或| D |>C |，则博弈是优势可解的；（ii）如果（i）中的任何条件均不成立，且除A>0、C>0外，支付矩阵描述了协调博弈；（iii）如果（i）中的任何条件均不成立，且A<0，C<0，则支付矩阵描述了反协调博弈；（iv）如果（i）中的任何条件均不成立，且A和C具有相反的符号（即AC<0），则游戏是循环的。为了证明命题1，有必要检查A、B、C和D上的限制是否转化为表1第二列中的不等式，反之亦然，相同的性质意味着A、B上的条件，C和D。我们在补充附录S2.1.5.2参数空间探索计划中给出了一个证明。我们的挑战是在13维参数空间中描述学习行为（八个参数a、b、C、D、e、f、g、h；四个学习参数α、β、δ和κ；以及学习规则的规定，可以是确定性的或随机的）。由于EWA的非线性，我们无法获得学习动力学作为所有参数组合函数的闭合形式表征。因此，我们遵循表2中概述的模块策略。在第6节中，我们从一个基线场景开始，例如第6节支付函数sαβδκ规则分析基线6A=±C，B=±D-δ=1κ=1 DET AN SimArbitraryPayof 7.1 a，B，C，D-δ=1 DET AN Belidence learning 7.2 a，B，C，D-δ=1-DET AN EnforcementLearning 7.3a，B，C，D，e，f，g，hα=1-κ>0 DET AN Transtochasting 7.4 a，B，C，D--δ=1κ=1 STOCH模拟表2：参数空间探索计划。如果参数未设置为任何值（-），这意味着原则上我们充分分析参数可以采用的每个值的动力学。我们从基线场景开始，其中只有四个参数没有固定。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:08:01

然后，我们遵循模块化策略，因为在每种情况下，我们都会探索一次改变一个或多个参数的效果。例如，wename“任意支付”的情况探索了放松约束A=±C和B=±D的效果。在δ=1的所有情况下，支付可以减少到组合A、B、C、D，因此我们仅指出这些参数；对于我们称之为“强化学习”的场景，这是不可能的，因此我们指出了所有的Payoff sa、b、c、d、e、f、g、h。最后两列显示了学习规则是随机的（STOCH）还是确定性的（DET），以及我们的结果是分析的（AN），是从模拟（SIM）中获得的，还是同时从模拟（AN-SIM）中获得的。哪些动力学是确定性的，只有四个参数没有固定的值：这些是支付组合a和B（C和D被限制为与a和B相等或相反的符号），记忆损失α和选择强度β。我们将此场景视为基线，因为它是一个参数数量最少的场景，这使得它成为比较其他参数化的明确基准。在基线情况下，我们以闭合形式或固定点方程的数值解分析获得了大多数结果。我们还通过模拟无固定点稳定时的学习动力学得到了一些结果。然后，我们考虑各种扩展，探索在保持其他参数不变的情况下更改一个或多个附加参数的效果。例如，在第7.1节中，我们放松了A=±C和B=±D的限制，并考虑了不同的支付组合对这两个参与者的影响。在第7.2节中，我们进一步放宽了κ=1，并充分探讨了在0到1之间的时间间隔内改变κ的影响（特殊情况下κ=0对应于信念学习）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:08:04

在第7.3节中，我们让δ在0和1之间变化，用α=1表示分析方便性（具体情况δ=0对应于强化学习）。在第7.4节中，我们分析了随机学习，放松了第3节中解释的确定性近似。虽然大多数扩展的结果都是分析性的，但我们通过仿真研究随机学习。为什么我们关注这四个扩展，而我们可以研究更多，这取决于我们变化和固定的参数组合？一个原因是，我们认为这四种情况在概念上最有趣。weargue的另一个原因是，应该可以定性地理解整个参数空间中的学习行为，将其作为我们研究的场景的叠加，然后可以将其视为最相关的场景。我们对S2.5.6基线场景中的真实情况给出了一些论证。我们首先分析了表2中所述基线场景中EWA学习的渐近动力学。在第6.1节中，我们分析了固定点的存在性和稳定性，而在第6.2节中，我们模拟了所有固定点都不稳定的环境中的学习动态。6.1固定点分析6.1.1纯策略固定点如式（6）所示，所有纯策略文件均为EWA固定点。直观地说，一个完整的策略文件i、j对应于有限的倾向性qrian和QCj，而倾向性的有限变化（式5）没有影响。然而，除非α=0，否则所有纯策略固定点都是不稳定的。（如果α=0，则只有纳什均衡是稳定的纯策略固定点。）这在以下命题中有所陈述：命题2。考虑一般的2×2游戏和等式（6）中的EWA学习动态，δ=1，κ=1。纯战略的所有文件，（x，y）∈ {（0，0），（0，1），（1，0），（1，1）}是EWA的固定点。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-5-31 03:08:07

对于正记忆丧失，α>0，这些固定点总是不稳定的。当α=0时，如果纯策略固定点也是NE，则它们是稳定的，如果它们不是NE，则不稳定。命题2的证明见附录A.6.1.2对称博弈中的混合策略固定点SEWA也有一个或三个混合策略固定点，即策略空间内部的固定点。在下文中，我们描述了混合策略固定点的存在性和稳定性。为方便起见，我们从对称对策的情况开始：这意味着A=C和B=D。混合策略固定点在变换坐标中的位置，（￠x？，￠y？）可从重新排列公式（8）中获得。固定点是▄x？=ψR（￠x？）和▄y？=ψC（￠y？），式中ψR（￠x？）=βα棕褐色βα（C tanhx？+D）+ B,ψC（￠y？）=βαC tanh公司βα（A tanhy？+B）+ D.（10）已经可以注意到，EWA参数α和β结合为α/β的比率。这在图2的（α，β）平面上调整了协调和优势博弈（对于κ=1，δ=1）中过渡的线性形状。此外，增加α/β或减少Payoff组合a、B、C、D之间存在缩放等效性，因为将α/β乘以一个常数，并将Payoff除以相同的常数，固定点方程保持不变。不动点和线性稳定性分析，因为在对称对策A=C和B=D中，依次是ψR（·）=ψC（·）=ψ（·）。根据游戏类别和学习参数，可以有一个或三个混合策略固定点。变换坐标（从公式（8）中获得）中地图的雅可比矩阵为j |x？，是吗=1.- αAβcosh（￠y？）Aβcosh（￠x？）1.- α！，（11）在对称游戏中，玩家的身份并不重要，也就是说，玩动作suiagainst动作s对玩家u的支付-ujdoes不依赖于u。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝