这个问题很大,呵呵
粗略的讲:
1)ML是经典参数估计方法之一,估计的方法是使得似然函数最大,使用的前提是你首先需要能写出似然函数的表达式;
2)GMM严格来说是一种模型,而不是一种估计方法。这种模型针对无法写出pdf闭式表达式的情况,采用多个高斯分布 pdf的和的形式来逼进真实的pdf。而利用高斯分布的特殊性质来简化后续算法。
3)EM适用于存在不完整数据或隐藏变量的情况,首先对隐藏变量求期望,进而求似然函数的最大值。
4)MCMC是英文马尔可夫链-蒙特卡洛方法的缩写,众所周知,蒙特卡洛方法是一种基于随机模拟的计算方法。采用蒙特卡洛方法的前提是,首先需要根据相应随机变量的统计特性,产生大量样本。而马尔可夫链的作用正是产生符合所需统计特性的样本。关于马氏链具体的原理,可以参考关于随机过程书籍