最优化基础和机器学习优化

 

最优化基础

分类： Math 2013-01-11 14:44  270人阅读  评论(3)  收藏  举报

本文简要介绍优化问题的数学模型，及凸集凸函数的概念，最后导出凸规划的定义。

一、优化问题的数学模型

最优化在科学、工程、国防、交通、管理、经济、金融、计算机领域有着广泛的应用。

二、最优化问题分类

三、凸集和凸函数

四、凸规划

机器学习中的优化方法<一>

分类： Math 2013-01-11 16:28  324人阅读  评论(4)  收藏  举报

《机器学习中的优化方法》之一：梯度法/最速下降法

0、引言 机器学习中的优化问题

机器学习中的model，基本都会有一个object function。通过是最小化object function，来获得model的参数。

那么这里就用到了“优化方法”，而且多是“多变量优化”。多变量体现在参数多。

当然简单的模型可以得到解析解（例如线性回归,残差平方最小化），但是更多的模型是无法得到解析解的。

下图是：线性回归的参数估计问题，通过极大似然法导出了最小二乘法

机器学习的优化问题多数是“无约束优化问题”，即对自变量的范围、自变量的相关性等没有限制，每个自变量（参数）的作用域的实数空间R。

无约束优化问题的典型求解方法：

1、下降递推算法

2、 一维搜索

此处只介绍牛顿法。在机器学习中，这一步就是学习效率的确定，机器学习多处理成常数。

牛顿法(Newton)  

3、求多变量函数极值的基本下降法

3.1、最速下降法(梯度法) 

3.2、 Newton法

3.3、阻尼Newton法

参考：

1.http://book.douban.com/subject/1164411/