3.3 EM算法

EM算法是数据缺失问题中的常用迭代算法，即似然函数未知或者非常复杂导致难以使用传统的极大似然方法进行估计。

3.3.1 试详细介绍EM算法

EM算法使用启发式的迭代方法来解决问题，由于模型分布参数未知，所以先猜想隐含数据（EM算法的E步），接着基于观察数据和猜测的隐含数据一起来极大化对数似然，求解模型参数（EM算法的M步），这两步需要迭代下去直到模型分布参数基本没有变化，直到找到合适的模型参数。简单来说就是E步是选取一组参数，求出在该参数下隐含变量的条件概率值；而M步是结合E步求出的隐含变量条件概率，求出似然函数下界函数的最大值。

E步公式为：

Q_i(z⁽ⁱ⁾):=p(z⁽ⁱ⁾|x⁽ⁱ⁾;θ)

M步公式为：

其中x是样本观察数据，z是未观察到的隐含数据，θ为需要求的模型参数。那么为什么EM算法保证可以收敛到似然函数下界函数的极大值呢？具体原因见公式推导如下：

为了更准确地解释EM算法，下面举一个例子：设某种实验共可能产生有4个结果发生的概率分别为，,,其中θ∈(0,1)，现进行了多次试验，4种结果的发生次数分别为n₁,n₂,n₃,n₄，求θ的MLE。

由于直接通过似然函数求解θ的MLE过程比较麻烦：

所以利用EM算法，具体步骤如下：

将第一种结果分成两种，发生的概率分别为和，这样这两种方式发生的概率之和仍为。设z₁和n₁-z₁为这两种可能发生的的次数，此时则有。再假设第三种结果分成两种，发生的概率分别为_和，令z₂和n₃-z₂为这两种可能发生的次数。此时则有。

似然函数为：

对数似然函数为：

l(θ;n,z)=(z₂+n₄)ln(θ)+(z₁+n₂)ln(1-θ)

下面利用EM算法分两步计算：

E步：在已有观测数据和第步估计值θ⁽ⁱ⁾的条件下，求基于完全数据的对数似然函数的期望：

Q(θ|y,θ⁽ⁱ⁾)=E_zl(θ;y,z)

M步：求Q(θ|y,θ⁽ⁱ⁾）关于θ的最大值θ⁽ⁱ⁺¹⁾：

上两步反复迭代计算，收敛时即求得了θ的MLE。

3.3.2 利用EM算法进行Gauss混合分布的参数估计

混合高斯模型有M个部分，每个部分的权重为a_k。则随机变量X的概率密度函数为：

其中θ=(α₁,α₂,…,α_M,θ₁,θ₂,…,θ_M)

设样本观测值为X={x₁,x₂,…,x_N}，则GMM的对数似然函数为：

此时极大似然估计不易求得参数θ=(α₁,α₂,…,α_M,θ₁,θ₂,…,θ_M)的估计，所以利用EM引入潜变量Y={y₁,y₂,…,y_N}，且y_i∈{1, 2,…,M}，i=1, 2,…,N。y_i=k是指第i个观测样本是GMM的第k部分产生的，则引入潜变量后的对数似然函数为：

下面用EM算法进行参数估计。

E步，求Q函数：

其中：

M步：求Q(θ|θ^(t-1))关于的最大值θ^(t+1)，更新参数：

对求偏导并令其为0，得到：

求出的参数估计后即可求出：

3.3.3 利用EM算法模拟两个正态分布的均值估计

3.3.2节介绍了如何利用EM算法做Gauss混合分布（GMM）的参数估计，而两个正态分布的均值估计即是这个问题的特殊情况，下面直接展示代码：