常见的几个凸函数与凹函数

参照 《convex optimization》这本书，总结几个常见的凸函数和凹函数。
（定义域与参数都是实数）。

• 指数函数 $e^{ax}$ 为凸函数
  **- 幂函数 $x^a$ 在 $a\ge 1$ 或 $a\le 0$ 时是凸函数，在 $0<a<1$ 时是凹函数

• 绝对值的幂函数 $|x{|}^p$ 在 $p\ge 1$ 时是凸函数

• 对数函数 $\lg x$ 是凹函数

• 负熵函数 $x\lg x$ 是凸函数

• 范数函数都是凸函数

• 最大值函数都是凸函数$f(x)=\max \{x_1,x_2,...,x_n\}$
  证明利用里最大化函数的一个性质 (该性质可以利用绝对值证明）：
  $$\underset{i}{\max }(f(x_i)+g(x_i))\le \underset{i}{\max }f(x_i)+\underset{i}{\max }g(x_i)$$

• 二次函数除以一个线性函数（线性分式函数），是一个凸函数。例如 $f(x,y)=x^2/y$，它的函数图像为：
  

• 几何平均数函数为一个凹函数
  $$f=\sqrt[n]{\prod _{i=1}^n{x}_i}$$

• 对数行列式函数为一个凹函数
  $$f(\mathbf{X})=\lg \det (\mathbf{X})$$
  其中， $\mathbf{X}$ 是一个正定矩阵

上面两个函数的证明参看《convex optimization》的 74 页，利用到了舒尔分解

• 函数的最大值函数（又称为 pointwise maximum 函数）
  $$f(x)=\max \{f_1(x),\dots ,f_m(x)\}$$
  若 $f_1(x)$, $\dots$, $f_m(x)$ 都是凸函数，并且 $f$ 的定义域是 $f_1$, $\dots$, $f_m$ 定义域的交集，则 $f$ 也是凸函数
• 对称矩阵的最大特征值函数
  可以表示为最大值函数
• 矩阵范数
  矩阵范数都可以表示为线性函数的最大值函数（不太容易理解表达式），因此是凸函数。