最优化基础和机器学习优化
最优化基础
分类： Math
2013-01-11 14:44
270人阅读
评论(3)
收藏
举报
本文简要介绍优化问题的数学模型，及凸集凸函数的概念，最后导出凸规划的定义。
一、优化问题的数学模型
最优化在科学、工程、国防、交通、管理、经济、金融、计算机领域有着广泛的应用。
二、最优化问题分类
三、凸集和凸函数
四、凸规划
最优化基础
本文简要介绍优化问题的数学模型，及凸集凸函数的概念，最后导出凸规划的定义。
一、优化问题的数学模型
最优化在科学、工程、国防、交通、管理、经济、金融、计算机领域有着广泛的应用。
二、最优化问题分类
三、凸集和凸函数
四、凸规划
机器学习中的优化方法<一>
分类： Math
2013-01-11 16:28
324人阅读
评论(4)
收藏
举报
《机器学习中的优化方法》之一：梯度法/最速下降法
0、引言 机器学习中的优化问题
机器学习中的model，基本都会有一个object function。通过是最小化object function，来获得model的参数。
那么这里就用到了“优化方法”，而且多是“多变量优化”。多变量体现在参数多。
当然简单的模型可以得到解析解（例如线性回归,残差平方最小化），但是更多的模型是无法得到解析解的。
下图是：线性回归的参数估计问题，通过极大似然法导出了最小二乘法
机器学习的优化问题多数是“无约束优化问题”，即对自变量的范围、自变量的相关性等没有限制，每个自变量（参数）的作用域的实数空间R。
无约束优化问题的典型求解方法：
1、下降递推算法
2、 一维搜索
此处只介绍牛顿法。在机器学习中，这一步就是学习效率的确定，机器学习多处理成常数。
牛顿法(Newton)
3、求多变量函数极值的基本下降法
3.1、最速下降法(梯度法)
3.2、 Newton法
3.3、阻尼Newton法
参考：
1.http://book.douban.com/subject/1164411/
