EM算法公式推导 (三硬币模型)

1. 因为有隐变量, 无法直接推导极大似然函数L(theta)

EM算法公式推导 (三硬币模型)_第1张图片

2. 利用琴生不等式推导B 函数, 将问题从极大化似然函数变成极大化 B函数

EM算法公式推导 (三硬币模型)_第2张图片

3. 将问题从极大化B函数变成极大化 Q函数

EM算法公式推导 (三硬币模型)_第3张图片

4. 将Q函数整理成pi, p, q的函数

EM算法公式推导 (三硬币模型)_第4张图片

EM算法公式推导 (三硬币模型)_第5张图片

5. 对pi偏微分,取得更新后的pi

EM算法公式推导 (三硬币模型)_第6张图片

6. 对p偏微分,取得更新后的p

EM算法公式推导 (三硬币模型)_第7张图片

7. 对q偏微分,取得更新后的q

EM算法公式推导 (三硬币模型)_第8张图片

8. 整理程序步骤

EM算法公式推导 (三硬币模型)_第9张图片

你可能感兴趣的:(ai,机器学习)