算法的数学基础

1. 函数的渐近的界

定义：设 $f$ 和 $g$ 是定义域为自然数集 $\mathbb{N}$ 上的函数.

1. 若$\exists c>0,n_0>0$，对$\forall n\ge n_0$，有$0\le f(n)\le cg(n)$成立，则称$f(n)$的渐近的上界是$g(n)$，记作$f(n)=\mathrm{O}(g(n))$

   对于$0\le f(n)<cg(n)$，记作$f(n)=o(g(n))$

2. 若$\exists c>0,n_0>0$，对$\forall n\ge n_0$，有$0\le cg(n)\le f(n)$成立，则称$f(n)$的渐近的下界是$g(n)$，记作$f(n)=\Omega (g(n))$

   对于$0\le cg(n)<f(n)$，记作$f(n)=\omega (g(n))$

3. 若$f(n)=\mathrm{O}(g(n))$，且$f(n)=\Omega (g(n))$，则记作$f(n)=\Theta (g(n))$

根据以上函数的渐近的界的定义，有如下几个定理：

• $\{\begin{array}{rl}f& =\mathrm{O}(g),g=\mathrm{O}(h)⟹f=\mathrm{O}(h)\\ & \\ f& =\Omega (g),g=\Omega (h)⟹f=\Omega (h)\\ & \\ f& =\Theta (g),g=\Theta (h)⟹f=\Theta (h)\end{array}$
  
  

• $f=\mathrm{O}(h)$，$g=\mathrm{O}(h)$$⟹$$f+g=\mathrm{O}(h)$

  $f=\Omega (h)$，$g=\Omega (h)$$⟹$$f+g=\Omega (h)$
  
  

• 设 $f$ 和 $g$ 是定义域为自然数集合 $\mathbb{N}$ 上的非负函数

  如果$\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=c>0$，则 $f(n)=\Theta (g(n))$
  如果$\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=0$，则 $f(n)=o(g(n))$
  如果$\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=+\infty$，则 $f(n)=\omega (g(n))$

2. 常用函数的界

• 多项式函数

  $f(n)=a_0+a_{1}n+a_2{n}^2+\cdots +a_d{n}^d$ ，$a_d\ne 0$称为 $d$ 次多项式，$f(n)=\Theta (n^d)$

• 对数函数

  ${\log }_{b}n$ 称为对数函数，其满足以性质：$$a^{{\log }_{b}n}=n^{{\log }_{b}a}$$

  两边取 $b$ 为底的对数

  对于每个$b>1$和每个$\alpha >0$，有${\log }_{b}n=o(n^{\alpha })$

  对数函数的另一个性质是$${\log }_{a}n=\Theta ({\log }_{b}n)$$

  换底公式即可证明

• 指数函数

  指数函数是指形如 $f(n)=r^n$ 的函数，其中 $r$ 为某个大于 $1$ 的常数

  对每个 $r>1$ 和每个 $d>0$，有 $n^d=o(r^n)$

  指数函数增长比多项式快

• 阶乘函数

  $f(n)=n!$ 是增长很快的函数，根据斯特灵公式，阶乘函数
  $$n!=\sqrt{2\pi n}{\left(\frac{n}{e}\right)}^n\left(1+\Theta \left(\frac{1}{n}\right)\right)$$

  关于阶乘函数有以下结果：

  • $n!=o(n^n)$
  • $n!=\omega (2^n)$
  • $\log (n!)=\Theta (n\log n)$

• 取整函数

  • 向上取整：$\lceil x\rceil$
  • 向下取整：$\lfloor x\rfloor$

3. 常用复杂度排序

$$2^{2^n}>n!>n\cdot 2^n>(\frac{3}{2}{)}^n>n^{\log \log n}>n^3>\log n!=\Theta (n\log n)>n>{\log }^{2}n>\log n>\log \log n>n^{\frac{1}{\log n}}=\Theta (1)$$

4. 基本的求和的方法

• 等差级数：$\sum _{k=1}^n{a}_k=\frac{n(a_1+a_n)}{2}$
• 等比级数：$\sum _{k=0}^{n}a{q}^k=\frac{a(1-q^{n+1})}{1-q}$，特别地，$\sum _{k=0}^n{x}^k=\frac{1-x^{n+1}}{1-x}$
• 调和级数：$\sum _{k=0}^n\frac{1}{k}=\ln n+\mathrm{O}(1)$

5. 递推方程的求解

5.1 迭代归纳法

【例 1】求解汉诺塔算法的递推方程

【解】

5.2 差消法

【例 2】求解快速排序的时间复杂度 $T(n)$ 的递推方程

【解】

5.3 递归树

呃呃呃，(⊙o⊙)…，只可意会，不可言传……

【例 3】求解递推方程

【解】

最左边的路径是最短路径，问题规模减少为原来的$\frac{1}{3}$，最右边的路径是最长的路径，问题规模每次减少为原来的$\frac{2}{3}$，最坏情况下考虑最长路径

为什么是 $O(n)$ 而不是 $n$，因为左右字数下降速度不一致，右边到底了，左边还没下来，所以倒数几层的权值之和小于 $n$

5.4 主定理

设 $a\ge 1,b>1$ 为常数，$f(n)$ 为函数， $T(n)$ 为非负整数，且 $T(n)=aT(n/b)+f(n)$，则有以下结果：

• 若 $f(n)=O(n^{{\log }_{b}a-ϵ}),ϵ>0$，那么 $T(n)=\Theta (n^{{\log }_{b}a})$
• 若 $f(n)=O(n^{{\log }_{b}a})$，那么 $T(n)=\Theta (n^{{\log }_{b}a}\log n)$
• 若 $f(n)=O(n^{{\log }_{b}a+ϵ}),ϵ>0$，且对于某个常数 $c<1$ 和所有充分大的 $n$ 有 $af(n/b)\le cf(n)$，那么 $T(n)=\Theta (f(n))$