机器学习理论导引_第1章：预备知识1.1

1.1  函数的性质

· 凸集：集合  内的任意两点，若它们之间连线上的所有点仍属于集合  ，即

称集合  为“凸”的，即  是一个凸集 (convex set).

· 凸函数：对定义在凸集上的函数  ，令 Ψ 表示定义域，若 ∀, ∈Ψ 均满足

称函数 (·) 为凸的，即 (·) 是一个凸函数 (convex function). 凸函数 (·) 上任意两点的连线均位于该函数的“上方”.

· 常见凸函数

若函数 (·) 可微，则当它是凸函数当且仅当其定义域 Ψ 是凸集且∀, ∈Ψ 都有

即在定义域中任意点的一阶泰勒展开是其下界. (函数曲线在切线“上方”)

· -强凸：定义在凸集上的函数  若 ∃∈ℝ+ 使得 ∀, ∈Ψ 都有

则称 (·) 为−强凸函数.

· 若 (·) 可微，则它是−强凸函数当且仅当其定义域 Ψ 是凸集且 ∀, ∈Ψ 都有

· 若 (·) 的局部变动不超过某个幅度，即∃∈ℝ+ 使得 ∀, ∈Ψ 都有

称函数 (·) 为 −Lipschitz 连续.

若可微函数的梯度满足 −Lipschitz 连续，则称该函数为−光滑.

· 函数  的共轭函数定义为

反应的是线性函数与 () 之间的最大差值.