一、概念        最大期望算法（Expectation-maximization algorithm，又译期望最大化算法）在统计中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似然估计。 二、算法：     1.经过两个步骤交替进行计算： 　　  最大期望算法第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值； 　　  第二步是最大化（M），最大化在 E 步上求得的最大似然值来计算参数的值。 　　  M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。 　　     2.总体来说，EM的算法流程如下： 　　  第一步：初始化分布参数 　　  第二步：重复直到收敛： 　　     E步骤：估计未知参数的期望值，给出当前的参数估计。 　　M步骤：重新估计分布参数，以使得数据的似然性最大，给出未知变量的期望估计。 三、算法举例     假设我们估计知道A和B两个参数，在开始状态下二者都是未知的，并且知道了A的信息就可以得到B的信息，反过来知道了B也就得到了A。可以考虑首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。     假定集合Z = (X,Y)由观测数据 X 和未观测数据Y 组成，Z = (X,Y)和 X 分别称为不完整数据和完整数据。假设Z的联合概率密度被参数化地定义为P(X，Y|Θ)，其中Θ 表示要被估计的参数。Θ 的最大似然估计是求不完整数据的对数似然函数L(X;Θ)的最大值而得到的：     L(Θ; X )= log p(X |Θ) = ∫log p(X ,Y |Θ)dY ；     EM算法包括两个步骤：由E步和M步组成，它是通过迭代地最大化完整数据的对数似然函数Lc( X;Θ )的期望来最大化不完整数据的对数似然函数，其中： 　　Lc(X;Θ) =log p(X，Y |Θ) ； 　　假设在算法第t次迭代后Θ 获得的估计记为Θ(t ) ，则在（t+1）次迭代时， 　　E-步：计算完整数据的对数似然函数的期望，记为： 　　Q(Θ |Θ (t) ) = E{Lc(Θ;Z)|X;Θ(t) }； 　　M-步：通过最大化Q(Θ |Θ(t) ) 来获得新的Θ 四、算法问题：     1.容易陷入局部最优     2.没有支持向量机分类算法预测效果好