算法复杂度计算

Master theorem

Let $T(n)$ be defined by $T(n)=aT(\frac{n}{b})+O(n^d)$ for $a>1,b>1$ and $d>0$, then $T(n)$ can be bounded by:

• if $d<lo{g}_{b}a$, then $T(n)=O(n^{lo{g}_{b}a})$;
• if $d=lo{g}_{b}a$, then $T(n)=O(n^{lo{g}_{b}a}logn)$;
• if $d>lo{g}_{b}a$, then $T(n)=O(n^d)$;

看到上面三个时间复杂度计算的前提条件，发现少了一项，就是 $d=0$ 时要怎么计算，所以下面将对这四种情况进行推导说明。

1. d=0

$d=0$时，可以适用于只分不 merge 的情况，比如查找二叉树某结点深度等。
在下面计算时会用到换底公式
$a^{lo{g}_b^c}=c^{lo{g}_b^a}$

$\begin{array}{rl}T(n)& =aT(\frac{n}{b})+c\\ & =a^{2}T(\frac{n}{b^2})+2c\\ & =a^{3}T(\frac{n}{b^3})+3c\\ & \cdots \\ & =a^{lo{g}_{b}n}T(\frac{n}{b^{lo{g}_{b}n}})+c\cdot lo{g}_{b}n\\ & =a^{lo{g}_{b}n}T(\frac{n}{n})+c\cdot lo{g}_{b}n\\ & =n^{lo{g}_{b}a}+O(logn)\end{array}$

先判定一个边界条件，即 $a^{lo{g}_{b}n}=lo{g}_{b}n$，此时 $a=1$，所以我们有：

• 当 a > 1 时， $T(n)=O(n^{lo{g}_{b}a})$
• 当 a ≤ 1 时， $T(n)=O(logn)$

2. d ≠ 0

$\begin{array}{rl}T(n)& =aT(\frac{n}{b})+O(n^d)\\ & \le aT(\frac{n}{b})+c\cdot n^d\\ & \le a(aT(\frac{n}{b^2})+c(\frac{n}{b}{)}^d)+c\cdot n^d\\ & \le a(a(aT(\frac{n}{b^3})+c(\frac{n}{b^2}{)}^d)+c(\frac{n}{b}{)}^d)+c\cdot n^d\\ & \le \cdots \\ & \le c{n}^d(1+(\frac{a}{b^d})+(\frac{a}{b^d}{)}^2+\cdots +(\frac{a}{b^d}{)}^{lo{g}_{b}n-1})+a^{lo{g}_{b}n}\\ & =c{n}^d\cdot \frac{1-(\frac{a}{b^d}{)}^{lo{g}_{b}n}}{1-\frac{a}{b^d}}+a^{lo{g}_{b}n}\end{array}$

2.1 if $d<lo{g}_{b}a$ 即 $b^d<a$

上式子可化为

$\begin{array}{rl}T(n)& =c{n}^d\cdot (\frac{a}{b^d}{)}^{lo{g}_{b}n}+alo{g}_{b}n\\ & =c{n}^d\cdot \frac{a^{lo{g}_{b}n}}{b^{dlo{g}_{b}n}}+n^{lo{g}_{b}a}\\ & =c{n}^d\cdot \frac{n^{lo{g}_{b}a}}{n^d}+n^{lo{g}_{b}a}\\ & =O(n^{lo{g}_{b}a})\end{array}$

2.2 if $d=lo{g}_{b}a$ 即 $b^d=a$

上式子可化为

$\begin{array}{rl}T(n)& =c{n}^d\cdot (1+1+\cdots +1)+n^{lo{g}_{b}a}\\ & =c{n}^{lo{g}_{b}a}\cdot logn+n^{lo{g}_{b}a}\\ & =O(n^{lo{g}_{b}a}logn)\end{array}$

2.3 if $d>lo{g}_{b}a$ 即 $b^d>a$

由于 $\frac{a}{b^d}<1$ 等比数列和近似为1，上式子可化为

$\begin{array}{rl}T(n)& =c{n}^d\cdot 1+n^{lo{g}_{b}a}\\ & =O(n^d)\end{array}$

综上

• $T(n)=O(n^{lo{g}_{b}a})$ if $d<lo{g}_{b}a$ 即 b d < a b^dbd<a
• $T(n)=O(n^{lo{g}_{b}a}logn)$ if $ d=log_ba$ 即 $b^d=a$
• $T(n)=O(n^d)$ if $ d>log_ba$ 即 $b^d>a$

3. Example

举两个例子熟悉一下。

• Example1: $T(n)=3T(\frac{n}{2})+O(n)=O(n^{lo{g}_{2}3})=O(n^{1.585})$
• Example2: $T(n)=2T(\frac{n}{2})+O(n^2)=O(n^2)$

Example1

$3^{lo{g}_{2}n}$ 是指的 T(n) 一次分三个，一共有 $lo{g}_{2}n$ 次。

$\begin{array}{rl}T(n)& =3T(\frac{n}{2})+O(n)\\ & =cn(1+(\frac{3}{2})+(\frac{3}{2}{)}^2+\cdots +(\frac{3}{2}{)}^{lo{g}_{2}n-1})+3^{lo{g}_{2}n}\\ & =cn\cdot \frac{1-(\frac{3}{2}{)}^{lo{g}_{2}n}}{1-\frac{3}{2}}+3^{lo{g}_{3}n}\\ & =cn\cdot \frac{3^{lo{g}_{2}n}}{2^{lo{g}_{2}n}}+3^{lo{g}_{2}n}\\ & =O(3^{lo{g}_{2}n})\\ & =O(n^{1.585})\end{array}$

Example2

$\begin{array}{rl}T(n)& =2T(\frac{n}{2})+O(n^2)\\ & =c{n}^2(1+(\frac{1}{2})+(\frac{1}{2}{)}^2+\cdots +(\frac{1}{2}{)}^{lo{g}_{2}n-1})+2^{lo{g}_{2}n}\\ & =c{n}^2\cdot \frac{1-(\frac{1}{2}{)}^{lo{g}_{2}n}}{1-\frac{1}{2}}+n\\ & =c{n}^2+n\\ & =O(n^2)\end{array}$