Convex Optimization: 3 Convex functions

这是凸优化第三章的笔记

Definition 定义

$\mathbf{d}\mathbf{o}\mathbf{m}f$ 意思是 $f$ 的 domain （定义域）

也就是说其定义域要是一个凸集

Examples on R 一些例子

Examples on ${\mathbb{R}}^n$ and ${\mathbb{R}}^{m\times n}$

最后一个是矩阵的最大奇异值（不是一个简单的函数），是凸的。

Restriction of a convex function to a line

老师在这里讲了个怎么证明复杂函数凸性的笑话，笑死我了…去看原视频吧

Extended-value extension

First-order condition

Second-order conditions

Examples

Epigraph and sublevel set

epigraph 指的是曲线上方的点集

Jensen’s inequality

Operations that preserve convexity

Positive weighted sum & composition with affine function

Pointwise maximum

Pointwise supremum

Composition with scalar functions

Vector composition

$\log {\sum }_{i=1}^m\exp g_i(x)$ 这里不能从里向外来判断凸性，首先要根据 $\log {\sum }_{i=1}^m\exp (x)$ 这个函数凸的（见 second-order 的例子那里 log-sum-exp），然后再判断整体是凸的。

Minimization

Perspective

The conjugate function

Examples

Quasiconvex functions

Examples

internal rate of return 内部收益率

Properties

Log-concave and log-convex functions

正态分布的密度函数取 log 之后是一个常数减去一个凸的二次函数，因此是 concave 的

老师还讲了在任意集合上的均匀分布都是 log-concave 的，脑补一下，其概率密度在集合内是常数，在集合外是零，取 log 之后在集合内仍是常数，在集合外是负无穷，想象一下这个图像，它是 concave 的。

Properties of log-concave functions

Convexity with respect to generalized inequalities