我们还注意到，（εt）t的选择取决于a（通过（N（t））t）的值，因此，每个i的函数序列（φi）t也是如此∈ 接下来，我们证明Pu，φ（limt→∞kσt（h）∞) - σk=0）=1，其中（σt）是给定φ的预期策略序列，即σit（h）（xi | si）=Pξ（ξi：φit（uit（h），si，ξi）=xi）。通过定义观察，σi（xi | si）=Pξξi：xi∈ arg max^xi∈谢‘Q’ui（·si，^xi）[πi（^xi，Yi）]+ξi（^xi）. 自从我∈ ψi，由此我们可以写出σi（xi | si）=Pξ（ξi:ψi（？ui，si，ξi）=xi）。让H≡ {h:kσt（h）- σk=0，对于所有t}。充分证明Pu，φ（H）=1。为了证明这一点，观察pu，φ（H）≥Pu，φ∩t{maxiζi（ut）≤ εt}=∞Yt=τ（1）+1Pu，φ最大ζi（ut）≤ εt|∩l<t{maxiζi（ul）≤ εl}=∞Yt=τ（1）+1Pu，\'φ最大ζi（ut）≤ εt|∩l<t{maxiζi（ul）≤ εl}=Pu，φ∩t> τ（1）{maxiζi（ut）≤ εt},其中第二行省略了所有t的Pu，φ（maxiζi（ut）<εt≤ τ（1））因为它等于1（因为εt≥ 3CT≤ τ(1)); 第三条线来自这样一个事实：-1=φit-1ifζi（ut-1) ≤ εt-1，因此概率测度等价地由pu，φ给出；其中，最后一行还使用了Pu、*φ（maxiζi（ut）<εt这一事实≤ τ (1)) =1. 此外a>0，Pu，φ∩t> τ（1）{maxiζi（ut）≤ εt}=Pu，φ∩N∈{1,2,...}∩{t>τ（1）：N（t）=N}{maxiζi（ut）≤ N-1}≥1.-∞Xn=1X{t:N（t）=N}Pu，φ最大ζi（ut）≥ N-1.≥1.-∞Xn=1a-n=1-a、 最后一行从（23）开始。因此，我们已经证明了Pu，φ（H）≥ 1.- 1/aa>0；因此，Pu，φ（H）=1。通过证明等式（22）确实成立，我们得出结论。观察σ在φ下的稳定性。引理2，我∈ 我和所有开放集用户界面 Θi（σ），limt→∞它用户界面= 1（24）a.s。- Pu，φ（超过H）。设H表示一组历史，使得xit（H）=xindsit（H）=si意味着σi（xi | si）>0。通过定义φ，Pu，φ（H）=1。因此，有必要证明这一点→∞马克西∈I|ζI（uit（h））|=0 a.s.-Pu，φ除以h。为此，取任意a Θ关闭。

通过等式（24），我∈ 一、 几乎所有的h∈ H、 林监督→∞^A（θ）uit+1（dθ）=lim supt→∞^A∩Θi（σ）（θ）uit+1（dθ）。此外，^A∩Θi（σ）（θ）uit+1（dθ）≤^A∩Θi（σ）（θ）（Qtτ=1Qiθ（yiτ| siτ，xiτ）ui（dθ）'i（σ）Qtτ=1Qiθ（yiτ| siτ，xiτ）ui（dθ））=ui（A | i（σ））=(R)ui（A），其中第一个不等式来自以下事实 Θi；第一个等式来自以下事实：∈ H、 博弈弱识别σ的事实意味着qtτ=1Qiθ（yiτ| siτ，xiτ）相对于θ是常数θ ∈ Θi（σ），最后一个等式来自于我们对ui的选择。因此，我们确定a.s.-Pu，\'φ除以H，lim supt→∞uit+1（h）（A）≤ ？ui（A）表示封闭的。通过portmanteau引理，这意味着，a.s.-Pu，φ/H，limt→∞Θf（θ）uit+1（h）（dθ）=Θf（θ）ui（dθ）对于任意实值、有界和连续。假设θ7→ Qiθ（yi | si，xi）是有界且连续的，之前的结果适用于Qiθ（yi | si，xi），并且由于y，s，x具有有限的值，该结果意味着→∞||\'Qiuit（h）-“Qi”ui | |=0我∈ I a.s.-Pu，φ/H。C非近视运动员在正文中，我们证明了运动员近视情况下的结果。这里，我们假设参与者最大化贴现预期收益，其中δi∈ [0，1）是玩家i的贴现因子。尤其是，玩家可以前瞻性地决定进行实验。然而，玩家认为他们面对的是一个静止的环境，因此没有影响其他玩家未来行为的动机。为了简单起见，我们假设玩家知道自己的支付扰动的分布。因为玩家认为他们面临在静态环境中，它们解决了一个（主观的）动态优化问题，可以递归地进行如下转换。

根据最优性原则，Vi（ui，si）表示参与者i的最大预期贴现收益（即价值函数），该参与者i通过观察信号sia和持有信念uiif开始一段时间，且仅当Vi（ui，si）=^i时马克西∈|Qui（·si，xi）πi（xi，Yi）+ξi（xi）+δEpSiVi（μi，Si）Pξ（dξi），（25），其中^ui=Bi（ui，si，xi，Yi）是更新的信念。对于所有（ui，si，ξi），设Φi（ui，si，ξi）=arg maxxi∈|Qui（·si，xi）πi（xi，Yi）+ξi（xi）+δEpSiVi（μi，Si）.下一个引理的证明依赖于标准参数，因此被省略。引理3。Bellman方程（25）存在唯一解；这个解是有界的（Θi）×sian作为ui的函数是连续的。此外，Φiis关于ui，a.s.-Pξ是单值的且连续的。因为玩家相信他们面对的是一个带有i.i.d.扰动的静止环境，所以将行为限制为依赖于递归问题的状态是不失普遍性的。一项政策的最佳性是按照通常的方式定义的（要求是：∈ Φit） 。引理2意味着后验概率的支持收敛，但后验概率不需要收敛。然而，我们总能找到一系列收敛的后验概率。通过信念中动态行为的连续性，在这种收敛后验条件下，稳定的策略文件是动态最优的（在解决动态优化问题的意义上）。对于弱识别博弈，收敛后验点是贝叶斯算子的固定点。因此，玩家的限制策略不会提供新信息。由于实验的价值是非负的，因此稳定策略文件也必须是目光最优的（在解决忽略未来的优化问题的意义上），这是伯克-纳什均衡定义中使用的最优性定义。

因此，当参与者遵循最优策略时，我们得到了稳定策略集的以下特征。Doraszelski和Escobar（2010）研究了Bellman方程的类似扰动版本。定理4。假设对于一个受干扰且弱识别的博弈，一个策略变量σ在最优策略变量下是稳定的。σ是博弈的伯克-纳什均衡。证据证明的第一部分与定理2的证明相同。在这里，我们证明，鉴于limj→∞σt（j）=σ和limj→∞uit（j）=ui∞∈ （Θi（σ））i、 然后，i、 σiis对于给定ui的扰动对策是最优的∞∈ （Θi），即。，（si，xi），σi（xi | si）=Pξξi：ψi（ui）∞, si，ξi）={xi}, （26）式中ψi（ui）∞, si，ξi）≡ arg maxxi∈谢琪一号∞（·| si，xi）[πi（xi，Yi）]+ξi（xi）。建立（26），fix i∈ 我和si∈ 硅。森林杰→∞σit（j）（h）（xi | si）=limj→∞Pξξi：φit（j）（uit（j），si，ξi）=xi= Pξξi：Φi（ui）∞, si，ξi）={xi},其中第二行后面是φi引理3的最优性。这意味着σi（xi | si）=Pξ（ξi:Φi（ui∞, si，ξi）={xi}）。因此，仍需证明pξξi：Φi（ui）∞, si，ξi）={xi}= Pξξi：ψi（ui）∞, si，ξi）={xi}(27)因此Pξ（ξi:Φi（ui∞, si，ξi）={xi}>0。从现在起，固定任何此类xi。由于σi（xi | si）>0，游戏弱识别的假设意味着Qiθi（·xi，si）=Qiθi（·xi，si）θi，θi∈ Θ(σ). 事实是我∞∈ （Θi（σ））则意味着bi（ui∞, si，xi，yi）=ui∞(28)易∈ 易。

因此，Φi（ui∞, si，ξi）={xi}是等效的toE\'Qui∞（·| si，xi）hπi（xi，Yi）+ξi（xi）+δEpSiVi（ui）∞, Si）i> E’Qui∞（·| si，| xi）πi（xi，Yi）+ξi（xi）+δEpSiVi（Bi（ui）∞, si，~ xi，Yi），si）≥ E’Qui∞（·| si，| xi）πi（xi，Yi）+ξi（xi）+ δEpSihVi（E¨Qui）∞（·| si，| xi）Bi（ui）∞, si、~ xi、Yi）, Si）i=E¨Qui∞（·| si，| xi）πi（xi，Yi）+ξi（xi）+ δEpSiVi（ui）∞, Si）xi∈ Xi，其中第一行后面是等式（28）和Φi的定义，第二行后面是通过ui和Jensen不等式函数的凸性，最后一行是贝叶斯信念具有鞅性质的事实。反过来，上述表达式相当于ψ（ui）∞, si，ξi）={xi}。D人口模型我们将讨论一些在匹配技术和反馈方面有所不同的人口模型变体。人口模型的正确变体取决于具体应用。单对模型。每个时期，从每个群体中随机选择一对玩家来玩游戏。在这一时期结束时，他们自己群体的信号、行动和结果将向所有人展示。这种情况下的稳定状态行为与本文中描述的伯克-纳什均衡概念完全一致。随机匹配模型。每个阶段，所有球员都随机配对，只观察自己比赛的反馈。我们现在修改了伯克纳什均衡的定义，以解释这种随机匹配设置。这个想法类似于托夫登堡和莱文（1993）对异质自我确认平衡的定义。现在，我在人群中的每一个代理人都有不同的经历，因此，在稳定状态下，他们有不同的信念和不同的策略。尽管我∈ 一、 德涅布里（σ）-（一）=σi：给定ui时的σi∈ Θi（σi，σ-（一）.注意σ是Berk-Nash均衡当且仅当σi∈ BRi（σ）-（一）我∈ 一、定义9。

一个策略文件σ是一个G的异质伯克-纳什均衡，如果，对于所有i∈ 一、 BRi（σ）凸壳中的σiis-i） 。直觉上，异质均衡策略σ是属于BRi（σ）的策略的凸组合的结果-i） )；其思想是，这些策略中的每一个都可以用来证明值函数的凸性，例如，Nyarko（1994）。在某些情况下，假设玩家能够观察到前几代人的私人信号可能是不切实际的，因此这些模型中的一些可能更适合于具有公共信息而非私人信息的情况。或者，我们可以考虑不同时期出生的球员的不同化身，他们能够观察前几代人的历史。然后是一段总体i.带有总体反馈的随机匹配模型。每个阶段所有玩家随机配对；在周期结束时，群体i中的每个参与者都会观察自己群体的信号、行动和结果。定义BRi（σi，σ-（一）=^σi：给定ui时的^σi∈ Θi（σi，σ-（一）.定义10。策略文件σ是一个异质Berk-Nash均衡，其总体反馈为博弈G，如果∈ 一、 β-BRi凸壳中的σiis（σI，σ-i） 。当玩家收到群体反馈时，他们的信念不再取决于他们自己的策略，而是取决于总体的群体策略。D.1均衡基础使用与本文中类似的论点，现在可以直接得出结论，异质伯克-纳什均衡的定义捕捉到了学习环境的稳定状态，每个参与者都有一群代理人。为了观察这个想法，让每一个群体都由统一国际K中的一系列代理人组成≡ [0，1]。agent ik（意思是agent k）的策略∈ 人口i）中的K由σik决定。

人口（即玩家）i的聚合策略为σi=`Kσikdk。随机匹配模型。假设每个代理都在优化，对于所有i，（σikt）收敛到σika。s、 使个体行为稳定。定理2说信仰的支持最终必须是Θi（σik，σik）-i） 阿根蒂克。接下来，对于每个ik，取信念uik的收敛子序列，并将其表示为uik∞.接下来就是∞∈ Θi（σik，σ-i） ）并且，通过信念中行为的连续性，σik为给定的μik∞. 特别是∑ik∈ BRi（σ）-i） 对于所有的ik和，由于σi=\'Kσikdk，因此在BRi（σ）的凸壳中σi2-i） 。与异质性自我确认平衡的情况不同，在这里，定义支持σ的每个行为都由一个（可能不同的）信念支持是不合适的。原因是BRi（σ-i） 可能只包含混合策略，但不包含纯策略（例如，示例1）。我们需要个人行为来稳定；仅仅在总量中保持稳定是不够的。例如，如果我们相信行为不稳定的代理最终会意识到他们有一个错误的模型，这是很自然的。具有总体反馈的随机匹配模型。假设每个假设都是优化的，对于所有i，σit=\'Kσiktdk收敛到σi。然后引理2说，信念的支持最终必须是Θi（σi，σ）-i） 对于群体i中的任何代理。接下来，对于每个ik，取信念的收敛子序列uik并表示它uik∞. 接下来就是∞∈ Θi（σi，σ-i） ）并且，通过行为信念的连续性，给定μik，σik是最优的∞. 特别是∑ik∈\'BRi（σ）-i） 对于所有的i，k和，由于σi=\'kσikdk，因此σii在\'BRi（σ）的凸壳中-i） 。E缺乏报酬反馈在本文中，假设参与者观察自己的报酬。我们现在提供两种方法来放松这一假设。

在第一种选择中，玩家没有观察到关于支付的反馈；在第二种选择中，玩家可能会观察到部分反馈。没有反馈。在本文中，我们有一个单一的确定性支付函数πi：Xi×Yi→ R、 可以用向量形式表示为元素πi∈ R#（Xi×Yi）。现在我们将其推广到允许不确定支付。玩家i被赋予概率分布Pπi∈ （R#（Xi×Yi））关于可能的支付函数。特别是，随机变量πi独立于Yi，因此没有什么新的东西可以从观察结果中了解到。对于随机支付函数，如果最优性定义如下：给定ui，策略σi是最优的∈ （i）如果σi（xi | si）>0意味着xi∈ arg最大值xi∈XiEPπiE\'Qiui（·si，\'xi）πi（(R)xi，Yi）.注意，通过交换积分顺序，这种最优性的概念相当于本文中的概念，其中确定性支付函数由epπiπi（·，·）给出。部分支付反馈。假设那个玩家我知道她自己的结果函数fi:X×Ohm → 她的payoff函数现在由πi:X×给出Ohm → R.特别是，玩家i可能不会观察到她自己的回报，但观察结果可能会提供关于（x）的部分信息-i、 ω），因此，关于支付。与文本中观察到支付的案例不同，信念ui∈ （Θi）可能无法唯一确定预期收益。原因是ui所暗示的结果分布可能与X上的多个分布一致-我Ohm; i、 e.X上的分布-我Ohm 仅部分识别。定义集合Mui （十）-我Ohm)Si×Xito是X上的条件分布集-我Ohm 给定（si，xi）∈ 与信念ui一致的Si×xit∈ （Θi），即m∈ Muiif，且仅当“Qiui（yi|si，xi）=M（fi（xi，X-i、 W）=yi | si，xi）代表所有人（si，xi）∈ 四仙一∈ 易。

最优性的定义如下：给定ui，玩家i的策略σi是最优的∈ （Θi）如果存在mui∈ Muiσi（xi | si）>0意味着xi∈ arg最大值xi∈XiEmui（·si，\'xi）πi（(R)xi，X-i、 W）.最后，识别的定义也需要改变，以要求不仅存在与观测数据相匹配的结果的唯一分布，而且这种唯一分布意味着一个唯一的预期效用函数。F全球稳定：例2.1（需求未知的垄断）。定理3说，只要我们允许优化错误消失，所有的伯克-纳什均衡都可以用概率1逼近。在本附录中，我们举例说明了如何使用随机逼近理论的技术，在假设参与者没有优化错误的情况下，建立平衡点的稳定性。我们给出了需求未知的垄断者的显式学习动力学，例2.1，并证明了该例中的唯一均衡是全局稳定的。全球稳定背后的直觉是，从均衡战略转向更重视2的价格的战略改变了人们的观念，使得垄断企业希望减少对2的价格的重视，同样，也希望减少对10价格的偏离。我们首先构建一个不安的游戏版本。然后，我们证明了学习问题是一个由微分方程组成的非线性随机系统，并利用随机逼近方法研究了该系统的渐近行为。最后，我们将Payoff扰动设为零。为了简化说明，从而更好地说明驱动动力学的机制，我们稍微修改了主观模型。

我们假设垄断者只知道参数b∈ Ri、 例如，她对参数a的看法是a=40 6=a点的退化，因此永远不会更新。因此，信念u是R上的概率分布，即u∈ （R） 。不安的游戏。设ξ为按Pξ分布的实值随机变量；我们用F表示相关的cdf，用F表示pdf。扰动的支付由yx给出-ξ1{x=10}。因此，考虑到∈ （R） ，最佳发挥x=10的概率为σ（u）=F（8a）- 96Eu[B]）。请注意，对于垄断者的决定而言，u的唯一方面是Eu[B]。因此，让m=Eu[B]并稍微滥用符号，我们使用σ（u）=σ（m）作为最佳策略。贝叶斯更新。我们现在推导出贝叶斯更新过程。我们假设先验μ由均值和方差为m，τ的高斯分布给出。可以证明，给定一个实现（y，x）和一个先验（m，τ），后验也是高斯的，均值和方差的演化如下：mt+1=mt+-（Yt+1）-a） Xt+1- mtXt+1Xt+1+τ-2tτt+1=（Xt+1+τ）-2t）。非线性随机差分方程与随机逼近。为了简单起见，让rt+1≡t+1τ-2t+Xt+1注意，前面的非线性随机微分方程组可以写成asmt+1=mt+t+1Xt+1rt+1-（Yt+1）- a） Xt+1- mtrt+1=rt+t+1Xt+1- rt.设βt=（mt，rt），Zt=（Xt，Yt），G（βt，Zt+1）=“Xt+1rt+1”-（yt+1）-a） xt+1- mtxt+1- rt#和G（β）=“G（β）G（β）#=EPσ[G（β，Zt+1）]=”F（8a-96m）r-（a）-A.-b10）- M+ (1 -F（8a）- 96m）r-（a）-A.-b2）- M（4+F（8a）- 96m）96- r） #这种先验选择在像我们这样的高斯环境中是标准的。如下图所示，这一选择大大简化了展览。式中，Pσ是由σ（y=a）引起的Z上的概率- bx+ω）。因此，动力系统可以被描述为βt+1=βt+t+1G（βt）+t+1Vt+1，Vt+1=G（βt，Zt+1）- G（βt）。

随机近似理论（例如Kushner and yin（2003））粗略地说，为了研究（βt）的渐近行为，tit足以研究以下ODE的轨道行为˙β（t）=g（β（t））。稳态的表征。为了找到（βt）t的稳态，只需找到β即可*使得G（β*) = 0.设H（m）≡ F（8a）- 96m）10(-（a）- a） +（b）- m） 10）+（1-F（8a）- 96m）2(-（a）- a） +（b）- m） 2）。观测G（β）=r-1H（m）和他的连续性→-∞H（m）=∞ 安德林→∞H（m）=-∞. 因此，至少存在一种溶液H（m）=0。因此，至少存在一个β*使得G（β*) = 0.设b=b-A.-a=4-=b=b-A.-a=4-42-40=3，`r=4+F（8a-96b）96和r=4+F（8a- 96¨b）96和b≡ [b，\'b]×[r，\'r]。因此H（m）<0m>b，因此m*一定是这样的*≤’b.也很容易看出m*≥ b、 此外，dH（m）dm=96f（8a-（96m）8（a）-（a）-B-M-4.-96F（8a）-96m）。因此，对于任何m≤\'b，dH（m）dm<0，因为≤“b意味着8（a-（a）≤ （b）-m） 80<（b-m） 96。因此，在相关领域m∈ [b，\'b]，他的值在减少，因此意味着只有一个m*使得H（m*) = 因此，只存在一个β*使得G（β*) = 0 .我们现在感兴趣的是描述β的极限*当微扰消失时，即当F收敛到1{ξ≥ 0}. 为此，我们引入了一些符号。我们考虑收敛到1{ξ的序列（Fn）≥ 0}并使用β*nto表示与Fn相关的稳态。最后，我们用HN来表示与Fn相关的HASS。我们进行如下工作。首先要注意的是*N∈ Bn、 该限制存在（如果需要，将转到子序列）。我们证明了*≡ 画→∞M*n=8a=8=。假设不是，尤其是假设limn→∞M*n<8a=（质量相反的参数是类似的，因此省略）。在这种情况下，limn→∞8a- 96m*n> 0，和我们一样→∞Fn（8a）- 96m*n） =1。

特里弗林→∞Hn（β*n） =10(-（a）- a） +（b）- M*) 10) ≥ 10-2 +> 0.但这意味着N使得Hn（β*n） >0N≥ 这是一个矛盾。此外，定义σ*n=Fn（8a）-96m*n） 和σ*= 画→∞σn.自Hn（m）*n） =0nand m*=, 因此σ*=-2.-2 +4.--2 +4.-- 2.-2 +4.-=.全局收敛到稳定状态。在我们的例子中，事实上可以证明行为以概率1收敛到唯一平衡。根据Benaim（1999）第6.3节的结果，建立β的全局渐近稳定性是有效的*对于任何n，即β的吸引盆*都是B。为了做到这一点，让L（β）=（β- β*n） P（β- β*n） 对于所有β；P在哪里∈ R2×2正定义和对角线，稍后确定。请注意，L（β）=0 iβ=β*n、 AlsodL（β（t））dt=L（β（t））G（β（t））=2（β（t）- β*n） P（G（β（t））=2（m（t）- M*n） P[11]G（β（t））+（r（t）- R*n） P[22]G（β（t））.自G（β）*n） =0，dL（β（t））dt=2（β（t）- β*n） P（G（β（t））- G（β）*n） ）=2（米（吨）- M*n） P[11]（G（β（t））- G（β）*n） ）+2（r（t）- R*n） P[22]（G（β（t））- G（β）*n） ）=2（米（吨）- M*n） P[11]^G（m）*n+s（m（t）-M*n） ，r*n）mds+2（r（t）- R*n） P[22]^G（m）*n、 r*n+s（r（t）- R*n） )在这里，最后一个等式由中值定理成立。注意dg（m*n、 r*n+s（r（t）-R*n） ）博士=-1和dG（m）*n+s（m（t）-M*n） ，r*n） dmds=\'）（r*n）-1dH（m）*n+s（m（t）-M*n） ）dmds。因为r（t）>0和*N≥ 0第一项为正，我们已经确定DH（m）dm<0我在相关领域。因此，通过选择P[11]>0和P[22]>0，可以得出dl（β（t））dt<0。因此，我们证明L满足以下性质：严格正β 6= β*nand L（β*n） =0，dL（β（t））dt<0。因此，该函数满足Lyapounov函数的所有条件，因此满足β*nis全局渐近稳定n（见Hirsch等人（2004）第194页）。