凸集、凸函数、凸优化问题

机器学习中，经常会用到凸集、凸函数、凸优化问题。
这里对这些概念进行介绍，简单介绍其关系。

凸集：如果集合A中任意两个元素的连线上的点也在集合内，则为凸集。见下图。

凸函数：函数任意两点连线上的值大于对应对应自变量出的函数值，则为凸函数。见下图。

凸优化：目标函数是凸函数，变量集合属于凸集，则可以用凸优化处理问题。或者目标函数是凸函数，变量集合的约束函数是凸集合，则也可以用凸优化处理问题。

凸优化问题有一个重要的结论：凸优化问题的局部最优解，就是全局最优解。

常见的凸优化问题：
线性规划：linear programming
二次线性规划：quadratic programming
二次约束二次规划：quadratic contrained programming

参考文章
1、http://www.cnblogs.com/tornadomeet/p/3300132.html
2、http://blog.csdn.net/chlele0105/article/details/12238839