李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型

目录

  • 1. logistic分布函数
  • 2. 最大熵模型
    • 原问题与对偶问题
    • L(p,w) 对 P(y|x) 求偏导
    • 6.22 及 6.23 式推导
    • 极大似然估计 6.26, 6.27 式
  • 3. 模型学习的最优化算法
    • 改进的迭代尺度法 IIS

1. logistic分布函数

李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第1张图片
李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第2张图片

2. 最大熵模型

原问题与对偶问题

李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第3张图片
如何将约束最优化的原始问题转换为无约束最优化的对偶问题?见该书附录C 拉格朗日对偶性

L(p,w) 对 P(y|x) 求偏导

w 0 w_{0} w0 处的计算?
李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第4张图片
在这里插入图片描述

6.22 及 6.23 式推导

李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第5张图片
李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第6张图片

极大似然估计 6.26, 6.27 式

李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第7张图片
李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第8张图片
李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第9张图片
李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第10张图片

3. 模型学习的最优化算法

改进的迭代尺度法 IIS

李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型_第11张图片
未完待续…

你可能感兴趣的:(学习笔记,机器学习)