凸凹函数的定义

1.凸凹性是函数的性质,也有多方面的应用,特别是在机器学习上,凸凹性的函数不仅在国外有争议,在国内也有不同的叫法,也有些教材会把凸定义为上凸,凹定义为下凸。

2.f(x)=lgx是凸函数,根据函数图象判断.一般开口向下的二次函数是凸函数,开口向上的二次函数是凹函数(国外)。

3.定义

凸函数的定义
假设f(x)在[a,b]上连续,若对于任意的x1,x2∈[a,b],恒有

f[(x1+x2)/2]≥[f(x1)+f(x2)]/2,则称f(x)在[a,b]上是凸函数

凹函数的定义
假设f(x)在[a,b]上连续,若对于任意的x1,x2∈[a,b],恒有
f[(x1+x2)/2]≤[f(x1)+f(x2)]/2,则称f(x)在[a,b]上是凹函数

4.导数来判断

如果一阶导数在区间内是连续增大的,它就是凹函数;
在图形上看就是”开口向上”
如果一阶导数在区间内是连续减小的,它就是凸函数;

在图形上看就是”开口向下”

由于一阶导数连续增大,所以凹函数的二阶导数大于0;

由于一阶导数连续减小,所以凸函数的二阶导数小于0

凸函数就是:缓慢升高,快速降低;

凹函数就是:缓慢降低,快速升高

5 切线

凹函数定义 若函数f(x)上每一点的切线都在函数图像的下方,则函数f(x)叫做凹函数。
凸函数定义 若函数f(x)上每一点的切线都在函数图像的上方,则函数f(x)叫做凸函数。

注意:3-5点是国内常见的凸凹性定义,注意和国外区分,关于凹凸性国内和国外是反的,机器学习中的凸就是我们3-5点中凹函数

6.机器学习中最常见的优化当属凸优化了

6.1凸集的定义

如果集合C中任意2个元素连线上的点也在集合C中,则C为凸集。
凸凹函数的定义_第1张图片

常见的凸集有:
  n维实数空间;一些范数约束形式的集合;仿射子空间;凸集的交集;n维半正定矩阵集。
  凸凹函数的定义_第2张图片
  这个二阶倒数要求大于0。

7.凸优化问题

要求目标函数是凸函数,变量所属集合是凸集合的优化问题。或者目标函数是凸函数,变量的约束函数是凸函数(不等式约束时),或者是仿射函数(等式约束时)。对于凸优化问题来说,局部最优解就是全局最优解。
凸优化问题是很重要一类优化问题,包括很多的应用方面。

你可能感兴趣的:(ML/DL,python)