《统计学习方法》笔记三

EM

含有隐变量的概率模型参数的极大似然估计法或者极大似然后验概率估计

EM算法本质

EM算法

高斯混合

模型：顾名思义，高斯，混合

算法EM迭代：提升下界逼近全局最优

GEM

---

COMMENTS

隐马尔科夫

隐马尔科夫基本概念

核心：初始状态分布，中间状态转移，由状态生成观测
应用：由大量训练资料，学习上诉三个参数矩阵，模拟资料分布状态，给出新的观测序列，反求中间状态（序列标注问题）

概率计算

前向

核心：任一状态的概率可由前一时刻所有状态概率乘以转移到该状态的概率积之和求得
求得状态概率之后，对应的观察序列概率可通过与观测概率矩阵运算而得

后向

与前向一致的层迭代算法

学习算法

---

预测算法

近似算法

维特比算法

条件随机场CRF

概率无项图模型

局部马尔科夫：点直接连接点确定时，外部点与该点条件独立，直接连接点是的内部点与外部点独立
成对马尔科夫：两点无连接，则两点对应变量在给定其他条件时独立
全局马尔科夫：连接变量团确定，两变量团独立
三个条件均是控制不存在跳点连接，所有关联关系在线上，线确定时，线两端变量独立

马尔可夫性 + 最大团 保证了概率图的因子可乘构建整图
条件随机场并未求出整体概率分布，而是条件概率，属于判别模型

条件随机场

节点状态只取决于有链接点状态

线性链条随机场：限制复杂图模型，压缩输出之间的影响到相邻输出，转为线性之后有点像LSTM了，任一一点的状态只取决于输出（有链接边），临近输出（有关联边左右双向，2-gram，短程记忆）

*未理解透彻，待续

计算

学习

预测