RT。在学习MCMC算法和EM算法时所做的笔记，收一些辛苦费：

【主要内容】
1、MCMC算法的详细流程（包括M-H算法和Gibbs抽样）
2、EM算法的详细流程（主要对吴恩达CS229讲义做出了详细分析）

【资料部分内容截图】



【MCMC算法和 EM算法的介绍】
1、MCMC
马尔科夫链蒙特卡洛方法(Markov Chain Monte Carlo)，简称MCMC，产生于19世纪50年代早期，是在贝叶斯理论框架下，通过计算机进行模拟的蒙特卡洛方法(Monte Carlo)。该方法将马尔科夫(Markov)过程引入到Monte Carlo模拟中，实现抽样分布随模拟的进行而改变的动态模拟，弥补了传统的蒙特卡罗积分只能静态模拟的缺陷。MCMC是一种简单有效的计算方法，在很多领域到广泛的应用，如统计物、贝叶斯(Bayes)问题、计算机问题等
2、EM
最大期望算法（Expectation-Maximization algorithm, EM），或Dempster-Laird-Rubin算法 [1]  ，是一类通过迭代进行极大似然估计（Maximum Likelihood Estimation, MLE）的优化算法 [2]  ，通常作为牛顿迭代法（Newton-Raphson method）的替代用于对包含隐变量（latent variable）或缺失数据（incomplete-data）的概率模型进行参数估计 [2-3]  。



【下载地址】