二元函数判断凹凸性

二元函数凹凸性判断

二元函数凹凸性判断：
设$f(x,y)$在区域$D$上具有二阶连续偏导数，且分别记为：$A=f_{xx}^{{}^{\prime \prime }}(x,y)，B=f_{xy}^{{}^{\prime \prime }}(x,y)，C=f_{yy}^{{}^{\prime \prime }}(x,y)$则：
$(1)在D上恒有A>0,且AC-B^2\ge 0⟹凸函数$
$(1)在D上恒有A<0,且AC-B^2\le 0⟹凹函数$
注：这里的凸函数是指下凸，也就是我们常见的“凹函数”，只不过在机器学习中用这种叫法，毕竟是外国人发明的东西。
二元凹凸函数求最值：
设$f(x,y)$是在开区域$D$内具有连续偏导数的凸（或者凹）函数，其中$(x_0,y_0)\in D$,且$f_x^{{}^{\prime }}(x_0,y_0)=0,f_y^{{}^{\prime }}(x_0,y_0)=0$,则$f(x_0,y_0)$必定为$f(x,y)$在区域$D$内的最小值（或者最大值）。

这里已知函数为：
$$E(w,b)=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\text{\hspace{1em}(式1)}$$
将$E(w,b)$分别对于$w,b$求导数（偏导数），得到：
$$\frac{\partial E(w,b)}{\partial w}=2(w\cdot \sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)\text{\hspace{1em}(式2)}$$
$$\frac{\partial E(w,b)}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))\text{\hspace{1em}(式3)}$$
在（式2）基础上：$$\frac{{\partial }^{2}E(w,b)}{\partial w^2}=\frac{\partial }{\partial w}(\frac{\partial E(w,b)}{\partial w})=\frac{\partial }{\partial w}(2(w\cdot \sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i))$$
$$=\frac{\partial }{\partial w}(2w\cdot \sum _{i=1}^m{x}_i^2)=2\sum _{i=1}^m{x}_i^2\text{\hspace{1em}(式4)}$$
$⟹A=f_{xx}^{{}^{\prime \prime }}(x,y)=2{\sum }_{i=1}^m{x}_i^2$
$$\frac{\partial E^2(w,b)}{\partial w\partial b}=\frac{\partial }{\partial b}(\frac{\partial E(w,b)}{\partial w})=\frac{\partial }{\partial b}(2(w\cdot \sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i))$$
$$=\frac{\partial }{\partial b}(-2\sum _{i=1}^m(y_i-b)x_i)=2\sum _{i=1}^m{x}_i\text{\hspace{1em}(式5)}$$
$⟹B=f_{xy}^{{}^{\prime \prime }}(x,y)=2{\sum }_{i=1}^m{x}_i$
在（式3）基础上：
$$\frac{{\partial }^{2}E(w,b)}{\partial b^2}=\frac{\partial }{\partial b}(\frac{\partial E(w,b)}{\partial b})=\frac{\partial }{\partial b}(2(mb-\sum _{i=1}^m(y_i-w{x}_i)))=2m\text{\hspace{1em}(式6)}$$
$⟹C=f_{yy}^{{}^{\prime \prime }}(x,y)=2m$
$$AC-B^2=4m\sum _{i=1}^m{x}_i^2-[2\sum _{i=1}^m{x}_i^2{]}^2=4m\sum _{i=1}^m{x}_i^2-4m\frac{1}{m}\sum _{i=1}^m{x}_i\cdot \sum _{i=1}^m{x}_i=4m(\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m{x}_i\bar{x})$$
$$4m\sum _{i=1}^m(x_i^2-x_i\bar{x}-x_i\bar{x}+x_i\bar{x})=4m\sum _{i=1}^m(x_i^2-2x_i\bar{x}+{\bar{x}}^2)\ge 0\text{\hspace{1em}(式7)}$$
注：上式中进行的一个替换操作为：${\sum }_{i=1}^m{x}_i\bar{x}=\bar{x}\cdot m\cdot \frac{1}{m}{\sum }_{i=1}^m{x}_i=m{\bar{x}}^2={\sum }_{i=1}^m{\bar{x}}^2$
以及：$\frac{1}{m}{\sum }_{i=1}^m{x}_i=\bar{x}$。
到这里就证明了$E(w,b)$为凸函数，所以就可以进行凸优化操作了。