如第6.1.1节所述，所有纯策略文件都是不稳定的固定点（青色圆圈）。纯策略NE附近的多个稳定固定点：案例（b）和（d）分别是反协调和协调博弈的例子。正如三角形所示，这两场比赛中的每一场都有三个NE。在每个例子中，一元包含一个混合策略，而另外两个平衡点是纯策略NE。在这两种情况下，A和B的值都有三个固定的EWA学习点。对于这两个例子，都存在一个“中心”固定点，位于混合策略NE附近，在学习动态下不稳定（靠近策略空间中心的青色圆圈），以及两个稳定的“横向”固定点。这两种情况之间的重要区别在于，（b）中的纯策略也接近帕累托均衡，而（d）（sR，sC）中的纯策略既是NE均衡又是帕累托均衡。这将在A>0和A<0半平面之间生成不对称性。当A>0且B变大时，帕累托系数NE和帕累托系数NE之间的支付差异增大。最接近帕累托系数的稳定横向固定点与不稳定的中心固定点重合，产生褶皱分叉，其中两个固定点均消失。有效地，积极的记忆丧失和非有限报酬敏感性可以防止学习动力陷入“局部最小值”，并有助于达到帕累托效率。远离纯策略的唯一固定点：案例（c）对应于（a）这样的优势博弈，但回报比前一个例子要小。由于回报较小，学习的动机也较少：与案例（a）相比，EWA学习的唯一稳定固定点更接近战略空间的中心。分析结果：我们对一些具体案例进行了一些分析结果。

我们首先设置B=0。图3中蓝色和绿色区域之间的边界位于A=-1注意，这里协调和反协调博弈之间的差异是对称假设A=C和B=D的产物。实际上，是一个带有payoff矩阵的反协调博弈1、1、5、54、4、1、1isasymmetric，但在帕累托效率方面与情形（d）完全等价。另见脚注5。图3：在固定α/β=1的特殊情况下，A=C，B=D（对称摄影机）参数空间的定量表征。图中的实心黑线将反协调对策、优势可解对策和协调对策的区域分开。不同的颜色与不同的学习动力有关。在蓝色区域，存在多个稳定（混合策略）固定点。在绿色/黄色区域，只有一个稳定的固定点。通过线性插值，颜色梯度反映固定点与策略空间中心的距离：随着（a，B）平面中的点变得更黄，执行点变得更接近纯策略文件。边框上（a）至（d）的注释指的是右侧所示的规格图。对于每个博弈，我们显示其支付矩阵、A和B的值以及（x，y）平面上固定点的位置和稳定性。绿色圆圈是稳定的固定点；青色圆是不稳定的固定点；灰色三角形为NE。A=1。从数学上讲，这些边界标记了横向固定点存在的点（它们出现在蓝色区域，但不在绿色区域）。

通过计算u=0时ψ（u）的斜率，可以看出，如果βα| A |不存在横向固定点≤ 1，（14）直接通向图3中的边界A=±1（图中的α/β=1）。当βα| A |→ +∞, ψ（￠x？）接近等于的阶跃函数-βα| A |在负域中，βα| A |在正域中，因此与| x？直线精确出现在￠x？=0和▄x？=±βα| A |。回顾从变换坐标到原始坐标的映射，这些交点对应于x=0、x=1/2和x=1。通过对y使用相同的论点，很容易看出，固定点是协调/反协调博弈的纯策略，以及策略空间中心的混合均衡。在图3中，情况（b）和（d）近似于这种情况。我们现在考虑B 6=0。如果βα| B |→ +∞ 和B A、 ψ（￠x？）完全等于ψ（0）=βαB。这也是唯一固定点x？的位置？。作为▄x？→ ±∞（取决于B的符号），x→ 0、1和固定点对应于唯一的purestrategy NE。图3中的情况（a）近似于这种情况。稳定性在下面的命题中讨论。提案3。在对称2×2游戏中，当学习参数取基线场景中的值时（表2），以下结果成立：（i）如果B=0，βα| A |≤ 1，唯一的中心固定点是稳定的。（ii）如果B=0且βα| A |→ 1+或βα| A |→ +∞, 中心固定点变得不稳定，横向固定点稳定。特别是，在βα| A |=1时，会发生超临界干草叉分叉。（iii）如果βα| B |→ +∞ 和B A、 唯一固定点是稳定的。证明见附录B。

总之，在对称2×2博弈中，至少有一个固定点始终是稳定的，至少在命题所涵盖的极限情况下是稳定的（但上面的数值分析表明，命题中的结果也适用于中间值）。6.1.3非对称博弈中的混合策略固定点我们关注一种特定类型的非对称博弈，其中非对称性仅源于支付的符号。这些博弈由条件∏R（sRi，sCj）=-∏C（sRj，sCi），表示A=-C、 B=-D、 请注意，该条件通常不定义零和博弈，而定义为等式∏R（sRi，sCj）=-∏C（sRi，sCj）。在此定义下，如果B>A，则博弈是优势可解的，但如果A>B，则存在循环博弈。固定点和稳定性：如前一节所述，我们首先写下固定点存在和稳定的条件，然后在改变学习参数和支付时研究其性质。当A=-C、 等式。（10） 最多有一个解决方案，因为右侧的函数单调递减。此外，如果B 6=0，我们通常有x？6=￠y？。雅可比矩阵（11）的特征值为复数，形式为λ±=1- α±iβ| A | cosh（￠x？）cosh（y？）。（15） 稳定性条件为：β√2α- α| A | cosh（￠x？）cosh（y？）≤ 1.（16）这种稳定性条件不同于等式（12）中的对称对策。事实上，重要的不仅仅是α/β的比值，还有这些参数更复杂的函数。一般来说，增加α或β对稳定性的影响与增加α/β比率的影响相同，但当取极限α时，β→ 0（使得比值α/β是有限的），上述方程的左侧变为零，因此固定点总是稳定的。

这与复制因子动力学一致，有限记忆总是收敛到混合策略执行点（见补充附录S1），但这可能是任意远离纳什均衡的。典型行为的例子：在图4中，我们说明了不对称博弈的不同可能结果，正如我们在图3中对对称博弈所做的那样。示例（a）是一个支配可解游戏。learningdynamics收敛到接近纯策略NE的唯一固定点，类似于图3中的案例（a）。在案例（b）中，我们有一个循环博弈，其payoff值相对较低。在对称博弈中，payoff值较低意味着策略空间中心的固定点（不一定对应于NE）是稳定的。案例（c）与案例（b）相似，但收益更大。更高的激励使球员对对手的行为反应过度，这使得所有固定分数都不稳定。learningdynamics被困在极限环中，或者对于某些参数，被困在混沌吸引子中，如我们将在第6.2节所示。循环博弈-匹配分币：这些非对称博弈和零和博弈仅当∏R（sRi，sCj）=∏C（sRi，sCj）=0，i 6=j时才对应。这里我们只找到了（x？，y？）-唯一潜在稳定的固定点-失去稳定性。当特征值穿过单位圆时，可以证明动力系统经历了超临界Hopf分岔（或Neimark-sackerbif分叉）。然而，证明涉及计算所谓的Firstlyapunov系数，该系数需要大量代数知识，无法提供任何见解，因此我们在此不提供证据。相反，我们使用数值模拟来表明Hopf分岔确实是超临界的。图4:A=-C和B=-D、 对于α=β=0.8。

该图的解释与图3相同。在参数空间的红色部分，没有固定点是稳定的，学习动力学遵循极限环或混沌。接下来，我们将重点讨论循环游戏的一个特定示例，匹配便士。这是一个零和游戏，其中一个玩家获得一枚硬币，而另一个玩家失去了硬币（Osborneand Rubinstein，1994）。所得支付矩阵意味着B=D=0，C=-A、 学习动力有一个唯一的固定点，位于（x？，y？）=（0，0）。替换公式（16），我们发现如果β√2α- α| A |≤ 1.（17）对于图4中使用的α和β值，固定点对于A？=1.224。这对应于OFIG底部B=0的绿色和红色区域的边界。综上所述，在由约束定义的非对称博弈中，A=-C和B=-D、 存在一个稳定的固定点，除非A>B，在这种情况下，固定点可能失去稳定性。6.2不稳定动力模拟迄今为止的所有分析都是关于固定点的局部稳定性。现在，我们模拟动力学来评估全局稳定性，并检查当所有固定点都不稳定时，会出现哪种类型的动力学。在对称博弈中，除了一种情况外，动力学总是收敛到一个稳定的固定点。当β较大时，α较小且| A | |B |（协调或反协调博弈），对于一些接近非NE的行动文件的初始条件，有可能观察到周期2的稳定极限环。在这个循环中，玩家在纯策略文件之间“跳跃”，而这些文件不是协调/反协调游戏的一部分。这并不奇怪，因为这些参数限制使EWA非常类似于最佳响应动力学（见第3.1节）。

由于这种动态在行为上是不切实际的，并且对仓促性不强——一个玩家“颤抖”并且动态收敛到那一点就足够了——我们在剩下的分析中忽略了它。它只是确定性近似的产物。在所有EWA固定点都不稳定的非对称博弈中，我们观察到的是行为上更现实的战略波动。为了说明不稳定解的性质，图5显示了一些α、β、A和B值的学习动力学示例。在面板（A）至（c）中，我们有A=-C=2，B=D=0，而在面板（D）中，我们考虑A=-C=-3.4和B=-D=-2.5.0.00.20.40.60.81.0（a）（b）900 920 940 960 980 10000.00.20.40.60.81.0（c）900 920 940 960 980 1000（d）tx，yFigure 5：学习参数和支付的四种不同组合的概率x（蓝色）和y（红色）的时间序列（详见正文）。出现周期性和混沌动力学。在小组（a）中，对于α=0.7和β=1，玩家经常改变策略，而在小组（b）中，对于α=0.01和β=0.1，动态更平稳。请注意，这两种情况下的α/β比率非常相似，但动力学却截然不同。这与本文的其余部分并不矛盾：只有EWA的定点行为由α/β比率决定。在面板（c）中，α=0.01，β=0.5，玩家花费大量时间玩一个动作，然后快速切换到另一个动作（因为他们有很长的记忆和很高的支付敏感性）。最后，在面板（d）中，我们选择B 6=0：这似乎产生了最不规则的动力学。在补充附录S2.2中，我们表明这些动力学是混沌的。7扩展我们现在考虑对基线场景的扩展（参见表2）。

在第7.1节中，我们考虑了支付不受A=±C和B=±D限制的游戏，因此支付的幅度可以不同于两个玩家。在第7.2节中，我们考虑了参数κ的值∈ [0，1）（在κ=0的情况下，我们恢复信念学习）。在第7.3节中，我们考虑δ∈ [0，1），在δ=0的情况下恢复强化学习。在第7.4节中，我们放弃了确定性学习的简化，并分析了随机学习动力学。这些扩展不包括第5.2节中描述的所有13维参数空间。正如其他地方所讨论的，本文无法全面探索参数空间；之前考虑的区域ns涵盖了EWA概括的学习算法之间许多有趣的转换。然而，在补充附录S2.5中，我们考虑了之前分析中未明确涉及的一些参数和支付组合。我们表明，对于所考虑的特定游戏和支付，我们能够基于基线场景和本节研究的场景定性地理解学习动态。虽然我们不能声称这在总体上是正确的，但我们认为这是一个令人鼓舞的迹象。7.1任意支付从学习的角度来看，A 6=C和B 6=D的游戏与同一类中约束A=±C和B=±D的游戏非常相似。例如，具有任意支付的优势可解游戏与具有约束支付的优势可解游戏非常相似。在补充附录S2.3中，我们展示了几个示例，其中一个玩家的支付大于另一个玩家的支付，导致支付最高的玩家在更接近策略空间边界的情况下使用混合策略。我们在命题2和等式（10）中的相同分析结果适用，并且可以通过替换| A |获得稳定性→√式中的AC。

（13） 当AC>0时，以及在公式（16）中，当AC<0.7.2信念学习时，在公式中选择κ6=1。（6） 和（8）相当于重新调整支付灵敏度β，如下所示▄β=β[1- （1）- α） （1）- κ） 】。（18） 当k<1时，β乘以的数量小于1时，有效支付敏感性降低。因此，对于κ<1，学习动态通常更稳定，对于更大的参数组合集，会收敛到策略空间中心的固定点。对基线方案的所有分析仍然适用。在信念学习案例（κ=0）中，重新标度的Payoff敏感性为▄β=βα。这意味着固定点的坐标不依赖于α，见等式。（10） （如图2所示）。可以证明，固定点对应于博弈的量子响应平衡（QRE）。QRE由McKelvey和Palfrey（1995）引入，以允许有无限理性的玩家，特别是包括玩家犯错的可能性。这里是QRE x？那你呢？由∏R（y？）的解给出- ∏R（y？）=βln1- x？x？，∏C（x？）- ∏C（x？）=βln1- yy（19） 对于较小的β值，QRE位于策略空间的中心，而β值的增加使QRE更接近NE。在极限β内→ ∞, QRE与NE重合。κ=0时，稳定性条件为（在匹配便士游戏中）βα√2α- α| A |≤ 1.（20）与式（17）不同的是，左手侧相对于αispositive的导数，因此更长的记忆可以促进稳定性。对于一般κ，式（20）中的分子为β[1- （1）- α） （1）- κ） ，因此当α>κ时，导数为正。因此，记忆对稳定性的影响并非微不足道：在信念学习极限中，长记忆促进稳定性，但当α<κ时，长记忆促进不稳定性。

据我们所知，我们是第一个确定这类学习规则中记忆对不稳定性的作用的人。在极限α内→ 0时，等式（20）的左侧变为零，因此确保了所有参数值的稳定性。对于β=+∞, 我们恢复了宫泽明（1961）和蒙德里尔与塞拉（1996）的著名结果，即在非退化2×2博弈中，竞争性博弈将收敛到NE。对于β的其他值，我们恢复了Fudenberg和Kreps（1993）以及Benaim和Hirsch（1999）的结果，即在2×2博弈中，随机效应将收敛于QRE。7.3强化学习我们现在放松约束δ=1，允许玩家对已经采取和没有采取的行动给予不同的权重。对于分析的可处理性，我们假设玩家拥有完美的记忆，α=0。我们还假设κ>0。（α=0时，β不能确定固定点的存在和性质，如图2所示；因此，我们可以只设置β=β[1-（1）-α） （1）-κ） ]=1。）由于我们无法使用坐标变换（7），我们直接从公式（6）中获得固定点。通过替换公式（6）中的参数限制，可以表明给定δ值没有潜在的十个固定点。我们在附录C中明确或隐含地给出了所有已执行点的表达式。四个固定点是纯策略，其中（x，y）等于（0，0），（0，1），（1，0）和（1，1）。在四个额外的固定点中，x理论为0或1，但并非两者都是，即这些固定点的形式为（0，y）、（1，y）、（x，0）和（x，1）。最后，两个固定点的x和y都不同于0和1，即（x，y）和（x，y）。

只有纯策略文件是所有模型参数选择的固定点；其他固定点可能存在也可能不存在，这取决于δ或支付函数的选择。就稳定性而言，对于对应于纯策略模型（x，y）={（0，0），（0，1），（1，0），（1，1）}的每个固定点，我们指定雅可比矩阵在该固定点的两个特征值：（x，y）=（0，0）=（sR，sC）→eβ（bδ-d） ，eβ（fδ-h）,（x，y）=（0，1）=（sR，sC）→eβ（aδ-c） ，eβ（hδ-f）,（x，y）=（1，0）=（sR，sC）→eβ（dδ-b） ，eβ（eδ-g）,（x，y）=（1，1）=（sR，sC）→eβ（cδ-a） ，eβ（gδ-e）.（21）如果我们设置δ=1，我们得到与第6.1.1节中命题2相同的结果，即只有纯策略NE是稳定的。然而，通过δ<1，也可以通过有效地降低东北地区薪酬的“感知”价值（即，参与者没有意识到，如果他们单方面转换，他们可能会获得更高的薪酬），从而使其他纯战略利润潜在稳定。我们用一个例子来解释这一点。考虑行动文件（sR，sC），并假设（sR，sC）是一个NE。这意味着c>a，因此从等式（21）中，（x，y）=（1，1）的第一特征值大于δ=1的值。因此，纯战略文件（sR、sC）是不稳定的。但如果δ6=1，固定点不稳定的条件为δ- a>0，即c>a/δ。因此，如果a>0，则NE要成为EWA的唯一稳定固定点，NE处的Payoff必须比Payoff sat（sR，sC）大1/δ。在其他情况下，非NE也可以是稳定的固定点。从数学上讲，这意味着对于δ<1的情况，动力学可能会停留在局部极小值上，这很难证明合理性，因为每个参与者都可能通过切换动作来提高自己的收益。然而，由于玩家不考虑放弃支付，他们无法意识到这一点，并继续执行相同的操作。图6给出了明确的示例。

轴x和y给出了δ特定值的执行点位置，纵轴δ显示了x和y如何随该参数变化。当线条为蓝色时，表示固定点稳定，当为红色时，表示固定点不稳定。绿色虚线表示NE。当NE与固定点重合时，线显示为蓝色或红色，并带有绿色虚线。在面板（a）中，游戏是支配可解的，唯一的NE在（x，y）=（1，1）（这是一个囚徒困境）。该NE对于δ的所有值都是稳定的，但帕累托最优纯策略文件（x，y）=（0，0）对于δ也是稳定的∈ [0，2/3]。立方体面上的（0，y）或（x，0）类型的其他解或（x，y）类型的解总是不稳定的。面板（b）中的情况类似，除了Payoff矩阵描述了具有twopure策略NE的协调博弈。对于δ<1/5或δ<1/4，其他两个纯策略模型是稳定的，可根据公式（21）计算得出。最后，案例（c）是一个具有最大固定点数的循环博弈，因为所有解都存在。当δ=0时，固定点（0，y）和（1，y）都是稳定的；随着δ的增加，（x，y）或（x，y）型（x，y<0.5）的溶液变得稳定。随着δ的进一步增加，纯策略比例（1，1）是稳定的，最终是x，y>0.5的类型（x，y）或（x，y）的解决方案变得稳定。对于δ>0.82，所有解如图6所示：当δ参数在0和1之间变化时，分叉图显示固定点（x，y）。蓝色（红色）线表示稳定（不稳定）的固定点。绿色虚线表示NE。δ值越低，越有可能出现与NE不一致的稳定固定点。不稳定，学习动态不会收敛到任何固定点。

请注意，在这个游戏中，没有稳定的固定点对应于NE，并且可以任意远。7.4随机学习在玩游戏时，除了非常特殊的实验安排（Conlisk，1993），真正的玩家在观察对手的单个动作后更新策略，因此他们不知道她的混合策略向量。这就质疑到目前为止对确定性动力学的分析是否提供了可靠的结论。在本节中，我们提供了一些模拟，证明它确实如此。当确定性动力学接近策略空间的边界时，我们预计相应的随机动力学行为类似，偶尔会发生一些波动。这是因为在战略空间的边界上采取不同行动的可能性非常小。相反，如果在战略空间的中心有一个唯一的稳定固定点，我们预计波动将是实质性的，因为任何行动都可以以相同的概率粗略选择。在图7中，我们报告了证实这一直觉的示例。在面板（a）和（c）中，没有稳定的固定点，确定性动力学遵循混沌吸引子，玩家在参数空间边界（面板（c））玩混合策略。相应的随机动力学非常相似（事实上，我们在补充附录2.4中表明，随机动力学也是混沌的）。面板（b）和（d）中的情况非常不同。

在这里，确定性动力学收敛到战略空间（d）中心的一个固定点，而随机版本基本上围绕该点进行。8结论在本文中，我们遵循了文献中的假设，假设有界理性的玩家参与一个完全重复的游戏，并使用适应性学习规则更新他们的阶段游戏策略，这里是经验加权吸引（EWA）。我们已经对噪声对学习动力学的影响进行了系统研究，这超出了本文的范围。Werefer the reader to Galla（2009）for a study on the effect of noise on learning，and to Crutch field et al.（1982）for a more general discussion on the effect of noise on dynamic systems。读者可以阅读Galla（2009）关于噪声对学习影响的研究，以及Crutch field et al.（1982）关于噪声对动力系统影响的一般性讨论。0.00.20.40.60.81.0（a）（b）900 920 940 960 980 10000.00.20.40.60.81.0（c）900 920 940 960 980 1000（d）tx，yFigure 7：循环游戏中学习动态的概率x（蓝色）和y（红色）的时间序列。顶部面板表示随机学习，底部面板表示相应的确定性学习。在所有情况下，支付组合为A=-C=-3.4和B=-D=-2.5，记忆损失为α=0.2。在图（c）中，确定性动力学收敛到混沌吸引子（β=1），而在图（d）中，确定性动力学达到固定点（β=0.1）。该学习过程在2×2博弈中的渐近结果，分类为何时会收敛到纳什均衡（NE），何时会收敛到不同的固定点，或何时会遵循混沌的极限环。文献中的大多数工作都关注一个或两个学习规则的收敛性。

由于EWA概括了文献中广泛研究的几种学习规则——强化学习、各种形式的游戏、最佳反应动力学以及具有有限记忆的复制器动力学——我们的贡献是提供学习动力学的系统表征或分类，扩展了仅对EWA的极端参数化有效的结果，显示了新的现象。这些因素包括帕累托效率的不稳定性、相互合作固定点的稳定性以及记忆对稳定性的模糊影响。我们的分类法也有助于为实验中预期的学习动态提供理论指导，因为EWA被广泛用于模拟几类游戏中的学习行为。9参考书目Benaim，m.和Hirsch，m.W.（1999），“扰动游戏中因游戏而产生的混合平衡和动力系统”，游戏与经济行为，第29卷，第36-72页。Benaim，m.、Hofbauer，J.和Hopkins，E.（2009）“在不稳定均衡的博弈中学习”，《经济理论杂志》，第144卷，第1694-1709页。Bloom field，R.（1994）“在实验室学习混合战略均衡”，《经济行为与组织杂志》，第25卷，第411-436页。B¨orgers，T.和Sarin，R.（1997）“通过强化和复制动力学学习”，《经济理论杂志》，第77卷，第1-14页。Brown，G.W.（1951年），“通过游戏的迭代求解”，T.Koopmans ed.生产和分配的活动分析，纽约：Wiley，第374-376页。Bush，R.R.和Mosteller，F.（1955）学习的随机模型：John Wiley&Sons，股份有限公司Camerer，C.和Ho，T.（1999）“正常形式游戏中的经验加权吸引学习”，《计量经济学：计量经济学学会杂志》，第67卷，第827-874页。Cheung，Y.-W.和Friedman，D。

（1997）“正常形式游戏中的个人学习：一些实验室结果”，《游戏与经济行为》，第19卷，第46-76页。Conlisk，J.（1993）《游戏中的适应：克劳福德难题的两种解决方案》，《经济行为与组织杂志》，第22卷，第25-50页。Crawford，V.P.（1974）“在零和博弈中学习最优策略”，《计量经济学：计量经济学学会杂志》，第885-891页。Crutch fi field，J.P.、Farmer，J.D.和Huberman，B.A.（1982），“波动和简单混沌动力学”，《物理报告》，第92卷，第45-82页。Erev，I.和Roth，A.E.（1998）“预测人们如何玩游戏：在具有独特混合策略均衡的实验游戏中强化学习”，《美国经济评论》，第88卷，第848-881页。Fudenberg，D.和Kreps，D.M.（1993）“学习混合均衡”，《博弈与经济行为》，第5卷，第320-367页。Fudenberg，D.和Levine，D.K.（1998）《游戏学习理论》，第2卷：麻省理工学院出版社。Galla，T.（2009）“游戏动态学习中的内在噪音”，《物理评论快报》，第103卷，第198702页。（2011）“不完美学习中的合作与缺陷周期”，《统计力学杂志：理论与实验》，2011年第卷，第P08007页。Galla，T.和Farmer，J.D.（2013）“学习复杂游戏中的复杂动力学”，《国家科学院学报》，第110卷，第1232-1236页。Ho，T.H.、Camerer，C.F.和Chong，J.-K.（2007）“游戏中的自我调整经验加权吸引力学习”，《经济理论杂志》，第133卷，第177-198页。Hofbauer，J.和Sigmund，K.（1998）《进化游戏和种群动力学》：剑桥大学出版社。Hopkins，E.（2002）“人们如何在游戏中学习的两个相互竞争的模型”，《计量经济学：计量经济学学会杂志》，第70卷，第2141-2166页。梅西，M.W。

（1991）“学会合作：社会交流中的随机和默契共谋”，《美国社会学杂志》，第97卷，第808-843页。梅西，M.W.和弗莱奇，A.（2002）“社会困境中的学习动力”，《国家科学院学报》，第99卷，第7229-7236页。McKelvey，R.D.和Palfrey，T.R.（1995）“正常形式游戏的量子反应平衡”，《游戏与经济行为》，第10卷，第6-38页。Miyazawa，K.（1961）“关于2×2非零和二人博弈中学习过程的趋同”，技术报告研究备忘录第33号，普林斯顿大学计量经济学研究项目。Monderer，D.和Sela，A.（1996）“没有虚拟游戏财产的2×2游戏”，《游戏与经济行为》，第14卷，第144-148页。Mookherjee，D.和Sopher，B.（1994）“实验性配对便士游戏中的学习行为”，《游戏与经济行为》，第7卷，第62-91页。Osborne，M.J.和Rubinstein，A.（1994）博弈论课程：麻省理工学院出版社。Ott，E.（2002）《动力系统中的混沌：剑桥大学出版社》。Rapoport，A.和Guyer，M.（1966）“2 x 2游戏的分类”，通用系统，第11卷，第203-214页。Robinson，J.（1951）“解决游戏的迭代方法”，《数学年鉴》，第296-301页。Sandholm，W.H.（2010）《人口游戏与进化动力学：麻省理工学院出版社》。Sato，Y.和Crutch field，J.P.（2003），“多智能体系统学习动力学的耦合复制因子方程”，Physical Review E，第67卷，第015206页。Stahl，D.O.（1988）“关于混合策略纳什均衡的不稳定性”，《经济行为与组织杂志》，第9卷，第59-69页。Young，H.P.（1993）“公约的演变”，《计量经济学：计量经济学学会杂志》，第61卷，pp。

57–84。命题2的证明为了研究纯策略NE的性质，我们需要考虑原始坐标中的学习动力学（纯策略映射到变换坐标中的有限元素）。EWA动态读数（使用δ=1、κ=1的（6）和Payo ff矩阵（1））：x（t+1）=x（t）1-αeβ（ay（t）+b（1-y（t））x（t）1-αeβ（ay（t）+b（1-y（t））+（1-x（t））1-αeβ（cy（t）+d（1-y（t）），y（t+1）=y（t）1-αeβ（ex（t）+f（1-x（t））y（t）1-αeβ（ex（t）+f（1-x（t））+（1-y（t））1-αeβ（gx（t）+h（1-x（t））。（22）从等式（22）可以看出，纯策略（x，y）∈ {（0，0），（0，1），（1，0），（1，1）}是动力学的所有固定点。让我们研究它们的稳定性。我们得到了JacobianJ=JJJJ, （23）带j=（1- α） （十）- x） αeβ（y（a-b-c+d）+b-d）x（1- x） αeβ（y（a-b-c+d）+b-d）- （十）-1） xα,J=β（x- x） α+1（a- b-c+d）eβ（y（a-b-c+d）+b-d）x（1- x） αeβ（y（a-b-c+d）+b-d）- （十）- 1） xα,J=β（y- y） α+1（e- f- g+h）eβ（x（e-f-g+h）+f-h）y（1-y） αeβ（x（e-f-g+h）+f-h）- （y）- 1） yα,J=（1- α） （y）- y） αeβ（x（e-f-g+h）+f-h）y（1-y） αeβ（x（e-f-g+h）+f-h）- （y）- 1） yα.（24）通过采用等式中的适当限值可以看出。（24）对于纯策略的所有文件，雅可比矩阵沿主对角线有有限元素，沿反对角线有空元素。这意味着纯战略的利益，尤其是纯战略的利益，“完全”不稳定。然而，当α=0时，纯策略NE变得稳定。考虑purestrategies的优点，其中两个参与者都选择动作s。这对应于x=y=1，并且givesa JacobianJ=e-β（a-c） 0 e-β（e-g）. （25）特征值可以在主对角线上看到，并且当a>c和e>g时，特征值是稳定的。在这些条件下（sR，sC）是纯策略NE。所有其他纯战略文件的论点都类似。B提案3的证明我们首先考虑索赔（i）。由于B=0，因此始终存在一个固定点（~x？，~y？）=（0，0）。

如果（根据公式（13））βα| A |，则该固定点是稳定的≤ 1.（26）所以，只要▄x？=0是唯一的固定点，它是稳定的。然后，我们考虑权利要求（ii），尤其是下界βα| A |→ 1+。除中央固定点外，还有两个横向固定点x？=±, 哪里 是一个任意球数。由于游戏的对称性，我们将重点放在由（▄x？，▄x？）提供的混合策略上。（类似的参数适用于类型（~x？）的固定点？，-x？）Tos二阶，coshx？≈ 1+（￠x？）/2、稳定性条件变为αβ1+（~x？）！1+（°x？）！- |A |≥ 0，（27）即（￠x？）≥βα| A |- 现在，我们泰勒展开ψ（￠x？）（在第6.1.2节中定义）到三阶（一阶只会产生▄x？=0）），并求解▄x？=ψ（￠x？）。除了空解之外，我们得到了（≈x？）=βAα- 1.βAα1+βAα. （29）很容易检查βα| A |→ 1+，条件（28）满足：组成部分为“横向溶液”的固定点稳定。因此，在βα| a |=1时存在超临界干草叉分叉。上界，即βα| A |→ ∞, 很容易处理。如第6.1.2节所述，在该限值中，固定点x？由x给出？≈ ±βα| A |。现在，对于βα| A |→ +∞ 双曲余弦可以用cosh近似βα| A|≈ 经验值βα| A|/2.（30）我们可以将稳定性条件改写为：4βα| A | exp-2βα| A|≤ 1.（31）对于βα| A |→ ∞, 上述方程的左边为零，因此不等式显然成立。最后，（iii）的证明与βα| A |上界的证明相同，因为相同的参数适用于βα| B |的足够大的值（前提是B A） 。C钢筋学习的固定点通过设置x（t+1）=x（t）=x获得固定点？y（t+1）=y（t）=y？式（6）中，α=0，κ=1。

这是givesx=x？eβ[δ+（1-δ） x？]（ay？+b（1-是吗？）x？eβ[δ+（1-δ） x？]（ay？+b（1-是吗？）+（1）-x？）eβ[δ+（1-δ） （1）-x？）]（cy？+d（1-是吗？），是吗=yeβ[δ+（1-δ） 是？]（ex？+f（1-x？））yeβ[δ+（1-δ） 是？]（ex？+f（1-x？）+（1）-是吗？）eβ[δ+（1-δ） （1）-y？）]（gx？+h（1-x？）。（32）很容易检查所有纯战略文件是否为固定点。可以找到四个额外的解决方案，注意到当x？还是y？为0或1，则相应的等式作为一个恒等式。然后可以通过求解other方程找到另一个解。这些给定点（0，y）=0，（1- δ） h+δ（h- f） （1）- δ） （f+h）,（1，y）=1，（1- δ） g+δ（g- e） （1）- δ） （g+e）,（x，0）=（1）- δ） d+δ（d- b） （1）- δ） （d+b），0,（x，1）=（1）- δ） c+δ（c- a） （1）- δ） （c+a），1.（33）当然，这些解的存在必须是0<y，y，x，x<1。当等式（32）中指数的参数相同时，即当（δ+（1）时，得到两个最终解（x，y）和（x，y- δ） x？）（ay？+b（1-y？）=（δ+（1- δ） （1）-x？））（cy？+d（1-是吗？），（δ+（1- δ） 是吗？）（ex？+f（1- x？）=（δ+（1- δ） （1）-是吗？）（gx？+h（1-x？）。（34）这些解的表达式非常复杂且不明显。我们只报告δ=0和对称对策x？=是吗=b- c+2d±√b- 2bc+c+4ad2（b- a+d-c） 。（35）我们不报告除纯策略文件（公式（21））以外的其他固定点的特征值，因为它们的表达复杂且不明显。补充附录1具有有限记忆的复制器动力学我们证明，EWA方程（6）有一个连续的时间限制，对应于具有有限记忆的复制器动力学的通用版本，而不是标准情况下的有限记忆。我们提出了一个与先前论文相关的替代推导。

Sato和Crutch field（2003）假设景点的演变发生在不同于概率演变的时间尺度上，Galla和Farmer（2013年，补充信息，第二节）使用拉格朗日乘数法。这里我们简单地从公式（6）开始，取极限α→ 0，β→ 0，因此α/β的比率是有限的。在这个极限中，我们设置κ=1，而不丧失一般性。我们也只对x（t）的计算进行了形式化，因为y（t）的计算是相同的。为了简单起见，我们在这里用xt表示x（t），用yt表示y（t）。取等式（6）中的日志，我们得到ln xt+1=（1- α） ln xt+β[δ+（1- δ） xt]∏R（yt）-ln公司x1-αteβ[δ+（1-δ） xt]∏R（yt）+（1-xt）1-αeβ[δ+（1-δ） （1）-xt）∏R（yt）. （36）通过取极限α，分母的对数可以大大简化→ 0，β→ 0、在此限制中x1-αt=xtx-αt=xteln x-αt=xte-αln xt≈ xt（1- αln xt）（37）和β[δ+（1-δ） xt]∏R（yt）≈1+β[δ+（1- δ） xt]∏R（yt）. （38）通过忽略O（α）（或等效O（β），因为α/β的比率是有限的），我们可以写出x1-αteβ[δ+（1-δ） xt]∏R（yt）+（1-xt）1-αeβ[δ+（1-δ） （1）-xt）∏R（yt）≈ln公司xt公司1.- αln xt+β[δ+（1- δ） xt]∏R（yt）+（1）- xt）1.- αln（1- xt）+β[δ+（1- δ） （1）-xt）∏R（yt）=ln公司1+xt-αln xt+β[δ+（1- δ） xt]∏R（yt）+（1）- xt）-αln（1- xt）+β[δ+（1- δ） （1）-xt）∏R（yt）≈xt公司-αln xt+β[δ+（1- δ） xt]∏R（yt）+（1）-xt）-αln（1- xt）+β[δ+（1- δ） （1）-xt）∏R（yt）.（39）将其替换为等式（36）并重新排列给定值ln xt+1- ln xt=β[δ+（1- δ） xt]∏R（yt）- xt[δ+（1- δ） xt]∏R（yt）-（1）- xt）[δ+（1- δ） （1）-xt）∏R（yt）- α（ln-xt- xtln xt- （1）-xt）ln（1- xt））。

（40）可以将所有内容除以β并重新缩放时间，以便β给出一个时间单位。然后在极限β内→ 0上述方程式的左侧为IMβ→0ln xt+β- ln xtβ=˙xx（41）当κ=0的情况被排除在经验的稳态条件之外时，κ只是乘以β的常数。x的学习动态可以连续写为˙xx=[δ+（1- δ） x]∏R（y）-x[δ+（1- δ） x]∏R（y）-（1）- x） [δ+（1- δ） （1）-x） ]πR（y）-αβ（ln x- x ln x- （1）- x） ln（1- x） ）。（42）这通常是方程（6）中EWA动力学的连续时间近似值。在δ=1的情况下，替换∏Rand∏R的表达式，我们得到˙xx=ay+b（1-y）-（轴+bx（1-y） +c（1-x） y+d（1-x） （1）-y） （）-αβ（ln x- H（x）），（43），其中H（x）=x ln x+（1-x） ln（1-x） 是混合策略的信息熵（x，1-x） 。这是Sato and Crutch fi field（2003）中分析的动力学。如果α=0，即在不确定性条件下，上述方程将简化为两种群复制动力学的标准形式（Hoffauer和Sigmund，1998）。分析循环对策中等式（43）的稳定性是有用的。我们根据A、B、C和D重写了replicatordynamics（43），因子A 1- x项并写出相应的y方程：˙x=x（1-x）4Ay+2（B-A） +αβ（ln（1- x）-ln x）,˙y=y（1- y）4Cx+2（D- C） +αβ（ln（1- y）-ln y）.（44）根据第7.1节的分析，我们将重点放在B=D=0和c=-A、 即匹配的便士。在这种情况下，复制器动态的固定点是（0，0），（0，1），（1，0），（1，1）和（1/2，1/2）。对于α的任何值，固定点（0，0）、（0，1）、（1，0）和（1，1）总是不稳定的。固定点（1/2，1/2）的特征值为λ±=-αβ±iA。

（45）由于连续动力系统固定点的稳定性取决于特征值的实部是否为正，很容易看出（1/2，1/2）在α>0时总是稳定的。因此，具有有限内存的复制子动力学总是收敛于混合策略NE。当α=0时，固定点变得略微稳定，learningdynamics围绕NE旋转。这恢复了进化博弈论的标准结果（Hoffauer和Sigmund，1998）。然而，请注意，如果B 6=0或D 6=0，则策略空间中固定点的位置取决于α/β，并且可以任意远离混合策略NE。S2附加结果S2.1命题1证明。我们只证明了我们有一个协调对策（由a>c，e>g，d>b，h>f定义）当且仅当| a |>b |，| c |>d |，a>0，c>0。其他情况类似。我们首先证明了协调博弈意味着| a |>B |、| C |>D |、a>0和C>0。首先，当a>c和d>b时，a为正，a=（a- c+d- b） >0。然后，由于A>0，表达式| A |>| B |可以写为A>| B |。如果B>0，则此表达式可以进一步写入A- B>0。这种不平等确实可以从条件D中得到满足- b>0定义了一个协调博弈，即- B=2（d- b） >0。如果B<0，我们需要检查A+B>0，这是从其他协调博弈条件A获得的- c>0，即A+B=2（A- c） >0。C和D的论点是类似的。接下来，我们考虑A、B、C和D上的条件意味着一个协调博弈。考虑B>0而不丧失一般性。因为A也大于0，所以我们可以去掉条件| A |>| B |中的绝对值，它变成A- B>0。这意味着d>b。我们仍然需要证明a>c，这并不简单地遵循a的定义，a=（a-c+d- b） >0。

事实上，A的定义仅意味着-c>-（d）- b） 但因为我们刚刚证明了d-b>0时，该条件也可以满足-c<0。但是，如果- c<0，我们有B=（a- c- （d）- b） ）<0，这与我们之前的假设相矛盾。同样的考虑也适用于C和D.S2.2混沌动力学0.0 0.2 0.4 0.6 0.8 1.01.00.80.60.40.20.0x（a）0.0 0 0.2 0.4 0.6 0.8 1.0-0.5-0.3-0.10.10.30.5（b）图S1：分岔图和最大Lyapunov指数λ，α在0和1之间变化。循环动力学和混沌动力学交替出现，α值越小，越有可能出现混沌。0.0 1.0 2.0 3.0 4.0 5.0A0.01.02.03.04.05.0B（a）0.0 1.0 2.0 3.0 4.0 5.0A0.01.02.03.04.05.0B（b）0.20.10.00.10.2Lefigure S2：反对称博弈中作为a和b函数的最大Lyapunov指数（C=-A、 D=-B） 。从绿色到红色的颜色表示混沌动力学，而蓝色表示收敛到周期吸引子，周期吸引子可以是极限环或固定点。在面板（b）中，玩家的内存更长。混沌动力学：为了检查动力学是混沌的还是（准）周期的，我们考虑一个分岔图并计算Lyapunov指数。在图S1中，我们确定了一个支付矩阵（我们使用图5（d）的示例，即A=-C=-3.4和B=-D=-2.5），并将选择的灵敏度设置为β=1。然后改变记忆损失参数α。对于任何α，所有固定点都是不稳定的∈ [0，1]。在面板（a）中，我们展示了产生的分岔图。对于α的每个值，我们绘制轨迹过程中动力学访问的坐标x，丢弃初始瞬态。当只有少量x值时，例如α∈ [0.4，0.5]，这些值之间的动力学循环。

相反，对于给定的α值，动力学访问相空间的重要部分，如α∈ [0，0.2]，动力学是混沌的。这在面板（b）中得到了证实，其中我们绘制了最大李亚普诺夫指数（LLE）λ；该指数量化了附近轨迹的指数散度（Ott，2002），正值表示混沌动力学。图S2显示，如果玩家有较长的记忆，则会更频繁地观察到混沌。事实上，在面板（b）中，我们将α=0.01，β=1，而在面板（a）中，α=0.7。如果其中一个动作对另一个动作起主导作用，即B>0，则混沌会占据参数空间的较大部分，而B=0的情况则相反。如果B>A，则LLE始终为负值，因为动力学达到固定点（与图4所示的图表一致）。对于支付的中间值，即对于大的A和B，这个值更大。S2.3任意支付对于一个玩家的支付比另一个玩家的支付大得多的游戏，具有约束支付的游戏和具有任意支付的游戏之间最有趣的区别出现在游戏中。在不丧失一般性的情况下，考虑这样一种情况，即payoff to Column远大于payoff to Row。在这种情况下，D>>B和C>>A。由于回报较大，Column有最强的动机来执行更好的行动，因此他使用更接近纯策略的混合策略。我们用图S3中的具体示例来说明这一点，其中我们还显示了函数ψR（￠x？）和ψC（￠y？）。在面板（a）和（b）中，玩家行的回报较小，因此激励较低。因此，x总是比y更接近策略空间的中心。在面板（c）中，我们显示了与图4中案例（b）相似的支付矩阵，除了玩家列的较大支付使得唯一固定点（10）不稳定。图S3：B 6=D和A 6=C的不对称博弈示例。

这些博弈类似于同一类中具有约束支付（A=±C和B=±D）的博弈，即分别针对面板（A）至（C）的协调博弈、优势可解博弈和循环博弈。唯一的区别是，拥有最高回报的参与者（以及最强烈的激励）采取的是更接近纯策略的混合策略。S2.4随机学习0.0 0.2 0.4 0.6 0.8 1.01.00.80.60.40.20.0x（a）0.0 0.2 0.4 0.6 0.8 1.0-0.5-0.3-0.10.30.5（b）图S4：分岔图和最大Lyapunov指数λasα在0和1之间变化。该图与图S1相同，只是这里我们考虑随机学习。对于α的小值，混沌对噪声具有鲁棒性。在图S4中，我们显示了分叉图和作为随机学习α函数的最大Lyapunov指数。该图与图S1相似，与噪声对动力系统影响的理论研究一致（Crutch fifield等人，1982）。图中显示，混沌对噪声具有鲁棒性，因为LLE对α为正∈ [0，0.3]。对于α>0.6，动力学仅访问几个点，如图（a）所示。这是因为玩家的记忆很短，所以可能只有少数不同的动作历史。在没有记忆的极端情况下，α=1，每个玩家将在两点之间“跳跃”，对应于对手在任何时间步可能采取的两个动作。实际上，在图S1（a）中，对于α=1，动力学仅访问两个点（x=0和x≈ 0.85）。这种影响在确定性动力学中是不存在的，因为参与者选择行动的分布。S2.5一些额外的参数组合我们涵盖了一些以前没有考虑过的参数和支付组合，并表明我们的分析结果可以直接用于理解这些情况下的学习行为。考虑以下支配可解游戏1、6、5、，-23、2、1、，-2..

（46）假设δ=1（充分考虑放弃的支付），动力学是确定性的，并考虑α、β和κ的任何值。我们可以期待什么样的动力？支付组合为A=-1.5，B=0.5，C=1，D=3。支付不满足A=±C，B=±D类型的任何约束。与第S2.3节不同的是，对一个参与者的支付不仅仅是对另一个参与者支付的重新调整版本，因此支付的幅度不是基线场景的唯一差异。然而，根据我们的分析，我们可以定性地理解学习的结果。由于A和C有不同的符号，等式（10）中的函数ψR（·）和ψC（·）单调减少，因此在策略空间的内部只能有一个固定点。该博弈是优势可解的，虽然B和D都有相同的符号，但情况类似于图4中的图左上角，其中B和Dhad的符号相反。如果α/～β=α/{β[1-（1）-α） （1）-κ） ]}很小，固定点靠近游戏的唯一纯NE，位于（sR，sC）。相反，如果α/￠β较大，则固定点位于策略空间的中心。因为| D |>B |，最终，玩家栏的策略总是比玩家行更接近纯均衡，这与S2.3节中的分析一致。现在放松假设δ=1。因为我们不想限制α取α=0，所以第7.3节中的分析不直接适用。然而，δ和α/￠β的组合效应很简单。α/￠β的正值将所有固定点推向战略空间的中心，因此第7.3节中讨论的类型的“锁定”固定点变得不太可能。通过模拟等式（46）中游戏的EWA方程，确定κ=0.5，β=0.5，并改变δ和α，可以证实这一点。

我们考虑五个值δ=0.00、0.25、0.50、0.75、1.00和几个α值∈ [0，0.5]。我们模拟动力学并在最后的时间步中记录x变量，得到图S5中的分岔图。考虑显示确定性动力学的左侧面板。根据第6节中的分析，随着α/￠β变大，固定点向战略空间的中心移动。这对于δ的所有值都是正确的。然而，对于δ=0，0.2，在x=1处存在额外的固定点。这是第7.3节中所述的“锁定固定点”之一，并且仅存在于α/￠β的较小值。图S5：通过模拟一些参数δ和α/~β值的EWA方程获得的分岔图（我们只显示了x，游戏者行的混合策略）。x=1的固定点仅适用于δ=0、0.2和较小的α/～β值。最后，在第7.4节中，我们讨论了我们的结果对随机性的稳健性，但我们分别固定了κ和δ到κ=1和δ=1。图S5的右侧面板显示了本节中考虑的参数值对随机性的鲁棒性。（分叉图中的点密度表明，x的值通常与确定性值相近，尽管有时会更大。）虽然在本节中，我们并没有声称我们可以明确地完全描述参数空间，但我们展示了一个尚未分析的游戏和参数组合，但其行为可以从之前的分析中定性地理解。