复杂度分析及五种记号详解（O、Ω、θ、o、ω）

一、各种渐近记号的概念和区别

我们常用的记号有：$O,\Omega ,\Theta (\theta ),o,\omega$。其中，$\Theta$和$\theta$是一回事。

$O$和$\Omega$

$O(g(n))=\{f(n):存在正常量c和n_0,使得对所有n\ge n_0,有0\le f(n)\le cg(n))\}$

$\Omega (g(n))=\{f(n):存在正常量c和n_0,使得对所有n\ge n_0,有0\le cg(n)\le f(n))\}$

图示:

举例说明：

(1) $因为对所有的N⩾1时有3N⩽4N,有3N=O(N)。$

(2) $因为当N⩾1时有N+1024⩽1025N,有N+1024=O(N)。$

(3) $因为当N⩾10时有2N^2+11N-10⩽3N^2,有2N^2+11N-10=O\left(N^2\right)。$

(4) $因为对所有N⩾1时有N^2⩽N^3,有N^2=O\left(N^3\right)。$

(5) $作为一个反例,N^3\ne O\left(N^2\right)。因为若不然,则存在正的常数C和自然数N_0,使得当N⩾N_0时有N^3⩽C{N}^2,即N⩽C。显然,当取N=\max \left\{N_0,\lfloor C\rfloor +1\right\}时这个不等式不成立,所以N^3\ne O\left(N^2\right)。$

定理 : $f(n)=O(g(n))\text{ 当且仅当 }g(n)=\Omega (f(n))$

不难发现，定义中的两队概念一个可以理解为上界，一个是下界，可以颠倒。
比如a比b大，那自然b比a小。所以关于$\Omega$的理解直接把$O$反过来就好。

理解：
1.当我们说“运行时间为$O\left(n^2\right)$”时，意指存在一个 $O\left(n^2\right)$ 的函数 $f(n)$ , 使得对 $n$ 的任意值, 不管选择什么特定的规模为 $n$ 的输人，其运行时间的上界都是 $f(n)$ 。这也就是说最坏情况运行时间为 $O\left(n^2\right)$ 。
2.当我们说$f(n)=O(n)$，这里的等号不是数学意义上的数值相等，而是集合意义上的$\in$符号的意义，表示$f(n)$属于$O(n)$这个函数集合。所以$f(n)=O(n)$就是$f(n)\in O(n)$

$\Theta 或\theta$

数学定义如下：
$\Theta (g(n))=\{f(n):$存在正常数$c_1,c_2$,和$n_0$,使对于所有的$n\ge n_0$,有$0\le c_{1}g(n)\le f(n)\le c_{2}g(n)\}$
定理
$f(N)=\theta (g(N))$当且仅当$f(N)=O(g(n))$且$f(N)=\Omega (g(N))$。并且这时称$f(N)$与$g(N)$同阶。（有些教科书也把这个定理作为定义）
图示：

当$n$充分大时，$f(n)$能够被被夹在$c_{1}g(n)$和$c_{2}g(n)$之间。我们说$g(n)$是$f(n)$的渐进确界。

$o$和$\omega$

$o$记号

$o(g(n))=\{f(n):对任意正常数c，存在常数n_0>0,使得对所有n\ge n_0,有0\le f(n)<cg(n))\}$（有的书这里是$\le$，有的是$<$，不如从极限和无穷小的概念去理解）
参考$O(g(n))$的定义：
$O(g(n))=\{f(n):存在正常量c和n_0,使得对所有n\ge n_0,有0\le f(n)\le cg(n))\}$
理解：
两者的区别是$O$提供了渐进上界，但这个界不一定是渐进紧确界。例如$2n^2=O(n^2)$是渐进紧确的,但是$2n=O(n^2)$就不是渐进紧确的，所以我们引入了$o$记号来专门描述这一部分非渐进紧确的上界集合。

$\omega$记号

二、函数比较和运算性质

内容部分来自算法导论。