MCMC 方法是使用马尔科夫链的蒙特卡罗积分,其基本思想是:构造一条 Markov 链 使其平稳分布为待估参数的后验分布,通过这条马尔科夫链产生后验分布的样本,并基于马尔科夫链达到平稳分布时的样本(有效样本)进行蒙特卡罗积分。设17px为某一空间 n 为产生的总样本数 m 为链条达到平稳时的样本数 则 MCMC 方法的基本思路可概括为:
构造Markov链。构造一条Markov链,使其收敛到平稳分布35px; - 产生样本:由17px中的某一点25px出发,用i中的Markov链进行抽样模拟,产生点序列:73px
在采用 MCMC 方法时 马尔科夫链转移核的构造至关重要,不同的转移核构造方法 将产生不同的 MCMC 方法,目前常用的 MCMC 方法主要有两种 Gibbs 抽样和Metropo-Lis-Hastings算法。
抽样算法[编辑]l
Gibbs '抽样'
Gibbs 抽样是现实中最简单 应用最广泛的 MCMC 方法,由 Geman 最初命名提出 其基础思路如下:
给定任意的初始向量119px;
从119px中抽取样本24px
从121px中抽取样本24px
…
从121px中抽取样本24px
…
从121px中抽取样本24px
至此,完成69px的转移。经过 n 次迭代,可得后验样本101px。根据后验样本可计算后验分布的各阶矩,进行相应的统计推断。
Metropolis-Hastings 算法是较早出现且比较一般化的MCMC 方法,最初由 Metropolis 等人在 1953 年提出 之后由Hastings 对其加以推广 形成了,Metropolis-Hastings 方法。该方法的基本思路是:选择一转移函数68px和初始值25px,若第9px次迭代开始时的参数值为
33px,则第29px次迭代过程为: