人工智能之--什么是凸函数以及如何判断一个函数是否为凸函数

什么是凸函数以及如何判断一个函数是否为凸函数

  • 1.凸函数的定义
  • 3.如何判断一个函数是否是凸函数
  • 3.Jensen不等式
  • 4.相关问题

1.凸函数的定义

1.对于一元函数f(x),如果对于任意tϵ[0,1]均满足:f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2),则称f(x)为凸函数(convex function)

2.如果对于任意tϵ(0,1)均满足:f(tx1+(1−t)x2)

3.我们可以从几何上直观地理解凸函数的特点,凸函数的割线在函数曲线的上方,如图1所示:
人工智能之--什么是凸函数以及如何判断一个函数是否为凸函数_第1张图片
上面的公式,完全可以推广到多元函数。在数据科学的模型求解中,如果优化的目标函数是凸函数,则局部极小值就是全局最小值。这也意味着我们求得的模型是全局最优的,不会陷入到局部最优值。例如支持向量机的目标函数||w||2/2就是一个凸函数。

3.如何判断一个函数是否是凸函数

1.一元函数f(x),我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负,即f′′(x)≥0 ,则f(x)是凸函数

2.对于多元函数f(X),我们可以通过其Hessian矩阵(Hessian矩阵是由多元函数的二阶导数组成的方阵)的正定性来判断。如果Hessian矩阵是半正定矩阵,则是f(X)凸函数

3.Jensen不等式

1.对于凸函数,我们可以推广出一个重要的不等式,即Jensen不等式。如果 f 是凸函数,X是随机变量,那么f(E(X))≤E(f(X)),上式就是Jensen不等式的一般形式

2.我们还可以看它的另一种描述。假设有 n 个样本{x1,x2,…,xn}和对应的权重{α1,α2,…,αn},权重满足ai⩾0,∑αi=1,对于凸函数 f,以下不等式成立:

f(∑ni=1αixi)≤∑ni=1αif(xi)

4.相关问题

1、计算几何是啥东西?
计算几何研究的对象是几何图形。早期人们对于图像的研究一般都是先建立坐标系,把图形转换成函数,然后用插值和逼近的数学方法,特别是用样条函数作为工具来分析图形,取得了可喜的成功。然而,这些方法过多地依赖于坐标系的选取,缺乏几何不变性,特别是用来解决某些大挠度曲线及曲线的奇异点等问题时,有一定的局限性。

2、计算几何理论中过两点的一条直线的表达式,是如何描述的?
直线:常用直线上的两个点表示(两点确定一条直线)这样比较常用且简便

3、凸集是什么? 直线是凸集吗?是仿射集吗?
“在凸几何中,凸集(convex set)是在凸组合下闭合的仿射空间的子集。更具体地说,在欧氏空间中,凸集是对于集合内的每一对点,连接该对点的直线段上的每个点也在该集合内。例如,立方体是凸集,但是任何中空的或具有凹痕的例如月牙形都不是凸集。特别的,凸集,实数R上(或复数C上)的向量空间中,如果集合S中任两点的连线上的点都在S内,则称集合S为凸集。”
直线不是凸集但是是仿射集。

4、三维空间中的一个平面,如何表达?
三维空间中的凸集就是直观上凸的图形(比如实心球体)

5、更高维度的“超平面”,如何表达?
超平面是如下形式的集合
{x∣aTx=b}
其中a∈Rn,a≠0 且 b∈R
在这里插入图片描述
从二维的层面来考虑,超平面就是一条直线,类似于图下,向量就是这个超平面的法向量。阴影部分就是半空间,而加粗直线部分就是超平面。超平面不完全等同于三维空间中的平面概念,在二维空间中是一条直线,三维空间中是一个平面,四维……
人工智能之--什么是凸函数以及如何判断一个函数是否为凸函数_第2张图片

6、什么是“凸函数”定义?如何判别一个函数是凸函数?
对于一元函数f(x),如果对于任意tϵ[0,1]均满足:f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2),则称f(x)为凸函数(convex function)
例:
在这里插入图片描述
f’(x)=3x²
f’’(x)=6x
在整个区间f’’(x)不是恒大于等于0的,所以它不是凸函数。

7、什么是“凸规划”?如何判别一个规划问题是凸规划问题。举例说明?
若最优化问题的目标函数为凸函数,不等式约束函数也为凸函数,等式约束函数是仿射的,则称该最优化问题为凸规划。凸规划的可行域为凸集,因而凸规划的局部最优解就是它的全局最优解。当凸规划的目标函数为严格凸函数时,若存在最优解,则这个最优解一定是唯一的最优解。
人工智能之--什么是凸函数以及如何判断一个函数是否为凸函数_第3张图片
人工智能之--什么是凸函数以及如何判断一个函数是否为凸函数_第4张图片
验证:
人工智能之--什么是凸函数以及如何判断一个函数是否为凸函数_第5张图片
人工智能之--什么是凸函数以及如何判断一个函数是否为凸函数_第6张图片

你可能感兴趣的:(机器学习,人工智能)