【算法设计与分析】分治-时间复杂度计算

主定理 Master Theorem

分治算法运行时间的递归表示

将原问题分解成 a 个子问题递归求解，每个子问题的规模是原问题的 1/b。同时子问题合并成原问题的时间为 $n^c$ ，n 是原问题的规模。

对应的时间复杂度表达式： $T(n)=aT(n/b)+O(n^c)$ ，对应的要求 $a>=1$、$b>=2$、$c>=0$。

主定理的简化形式

$T(n)=aT(n/b)+O(n^c)$ ，要求 $a>=1$、$b>=2$、$c>=0$、$T(1)=O(1)$。

• 如果$a<b^c$，那么$T(n)=O(n^c)$
• 如果$a=b^c$，那么$T(n)=O(n^{c}logn)$
• 如果$a>b^c$，那么$T(n)=O(n^{lo{g}_{b}a})$

二分搜索：

时间复杂度：$T(n)=T(n/2)+1$
$a=1$、$b=2$、$c=0$
对应$a=b^c$，因此$T(n)=n^{0}logn=logn$

归并排序：

时间复杂度：$T(n)=2T(n/2)+O(n)$
$a=2$、$b=2$、$c=1$
对应$a=b^c$，因此$T(n)=n^{1}logn=nlogn$

多项式乘法（直接分治）：

时间复杂度：$T(n)=4T(n/2)+O(n)$
$a=4$、$b=2$、$c=1$
对应$a>b^c$，因此$T(n)=n^{lo{g}_{2}4}=n^2$

多项式乘法（递归优化，Karatsuba算法）：

时间复杂度：$T(n)=3T(n/2)+O(n)$
$a=3$、$b=2$、$c=1$
对应$a>b^c$，因此$T(n)=n^{lo{g}_{2}3}=n^1.58$

矩阵乘法（直接分治）：

时间复杂度：$T(n)=8T(n/2)+O(n^2)$
$a=8$、$b=2$、$c=2$
对应$a>b^c$，因此$T(n)=n^{lo{g}_{2}8}=n^3$

矩阵乘法（Strassen算法）：
时间复杂度：$T(n)=7T(n/2)+O(n^2)$
$a=7$、$b=2$、$c=2$
对应$a>b^c$，因此$T(n)=n^{lo{g}_{2}7}=n^{2.81}$

主定理的一般形式

一般 主定理的简化形式 可以满足大部分的分治算法的时间复杂度分析，但是也存在 简化主定理 不适用的情况：

• 子问题数量不是常数：
  • $T(n)=nT(n/2)+O(n^2)$
• 子问题数量小于1：
  • $T(n)=1/2T(n/2)+O(n^2)$
• 分解原问题与合并子问题的总时间并不是$n^c$
  • $T(n)=2T(n/2)+O(nlogn)$

因此，使用更广泛的主定理的一般形式：

$T(n)=aT(n/b)+f(n)$ ，要求 $a>0$、$b>1$、$T(1)=O(1)$。

• 如果$\exists ϵ>0$ 使 $f(n)=O(n^{lo{g}_{b}a-ϵ})$，那么 $T(n)=\Theta (n^{lo{g}_{b}a})$
• 如果$\exists k>=0$ 使 $f(n)=O(n^{lo{g}_{b}a}lo{g}^{k}n)$，那么 $T(n)=\Theta n^{lo{g}_{b}a}lo{g}^{k+1}n)$
• 如果$\exists ϵ>0$ 使 $f(n)=\Omega (n^{lo{g}_{b}a+ϵ})$，且对于某个常数$c<1$和足够大的$n$有$af(n/b)<=cf(n)$，那么$T(n)=\Theta (f(n))$

通俗的来解释，就是看$n^{lo{g}_{b}a}$ 与 $f(n)$ 的增长率大小：

• 情况一：$n^{lo{g}_{b}a}$ 比 $f(n)$ 的增长更快
• 情况二：$n^{lo{g}_{b}a}$ 与 $f(n)$ 的增长快慢类似
• 情况三：$n^{lo{g}_{b}a}$ 比 $f(n)$ 的增长更慢

情况一

$n^{lo{g}_{b}a}$ 比 $f(n)$ 的增长更快，至少要快$\Theta (n^{ϵ})$倍。

$T(n)=9T(n/3)+n$
$n^{lo{g}_{b}a}=n^2$ ， $f(n)=n=O(n^{2-ϵ})$，$0<ϵ<=1$
因此 $T(n)=O(n^2)$

情况二

$n^{lo{g}_{b}a}$ 与 $f(n)$ 的增长快慢类似，同时$f(n)$要比$n^{lo{g}_{b}a}$快$\Theta (lo{g}^{k}n)$倍。

$T(n)=T(2n/3)+1$
$n^{lo{g}_{b}a}=n^{lo{g}_{3/2}1}=n^0=1$， $f(n)=1=\Theta (n^{lo{g}_{b}a}lo{g}^{0}n)$
因此 $T(n)=\Theta (logn)$

情况三

$f(n)$ 比 $n^{lo{g}_{b}a}$ 的增长更快，至少要快 $\Theta (n^{ϵ})$倍，且 $af(n/b)\le cf(n)$。

$T(n)=3T(n/4)+nlogn$
$n^{lo{g}_{b}a}=n^{lo{g}_{4}3}=n^{0.793}$，$f(n)=nlogn=\Omega (n^{lo{g}_{4}3+ϵ})$， $ϵ\le 0.207$
并且 $af(n/b)=3f(n/4)=3(n/4)log(n/4)\le (3/4)nlogn=cf(n)$， $c=3/4$
因此 $T(n)=\Theta (nlogn)$

使用主定理一般形式求解时间复杂度：

$T(n)=8T(n/2)+\Theta (1)$
$n^{lo{g}_{b}a}$ = $n^3$，$f(n)=\Theta (1)=O(n^{3-ϵ})$，对于$ϵ<3$成立
因此 $T(n)=\Theta (n^{lo{g}_{b}a})$ $=\Theta (n^3)$

$T(n)=7T(n/2)+\Theta (n^2)$
$n^{lo{g}_{b}a}$ $=n^{lo{g}_{2}7}$ $=n^{2.81}$，$f(n)=\Theta (n^2)=O(n^{2.81-ϵ})$，对于$ϵ<0.8$成立
因此 $T(n)=\Theta (n^{lo{g}_{b}a})$ $=\Theta (n^{2.81})$

$T(n)=2T(n/2)+\Theta (n)$
$n^{lo{g}_{b}a}$ $=n^{lo{g}_{2}2}=n$，$f(n)=\Theta (n)$，二者增长率类似。
并且 $f(n)=\Theta (n)=\Theta (n^{lo{g}_{2}2}lo{g}^{0}n)$
因此 $T(n)=\Theta (nlogn)$

$T(n)=2T(n/2)+nlogn$
$n^{lo{g}_{b}a}$ $=n^{lo{g}_{2}2}=n$，$f(n)=nlogn=\Theta (n^{lo{g}_{b}a}lo{g}^{1}n)$
注意：虽然$f(n)$要比$n^{lo{g}_{b}a}$,，但没有快$n^{ϵ}$，因此不适用于情况三。
因此 $T(n)=\Theta (nlogn)$

主定理的一般形式虽然适用范围更的广，但是仍然有不适用的情况：

• $n^{lo{g}_{b}a}$ 和 $f(n)$ 的增长率不能比
• $n^{lo{g}_{b}a}$ 比 $f(n)$ 增长的更快，但没有快 $\Theta (n^{ϵ})$倍
• $f(n)$ 比 $n^{lo{g}_{b}a}$ 增长的更快，但没有快 $\Theta (n^{ϵ})$倍

$T(n)=2T(n/2)+n/logn$
$nlogba=n$，$f(n)=n/logn$
$nlogba$ 比 $f(n)$ 增长的更快，但也只快$\Theta (logn)$，因此不适用情况1
且$f(n)=n/logn=\Theta (n^{logba}lo{g}^{-1}n)$，$k=-1$，因此也不适用于情况2

递归树 Recursion Tree

递归树：有根树，根节点代表原问题，根节点以外的所有节点都代表一个子问题。节点的值代表解决该子问题所花费的除递归调用的时间。
原问题的运行时间等于该树所有节点的值的和。
递归树的叶子节点是递归的基本情况。

递归树的示例：
$$T(n)=aT(n/b)+f(n)$$
最终该公式的递归树如下图所示：
其中蓝色箭头表示递归树的每一层的时间花销之和。每一层的时间花销，相当于每一层递归是$f(n)$产生的时间花销。

假设叶子节点的时间花销$f(n/b^L)=0$，则 $L=lo{g}_{b}n$
整体的时间复杂度：$T(n)={\sum }_{i=0}^L{a}^{i}f(n/b^i)$

递归树的简单结论

假设每⼀层节点值之和是上⼀层节点值之和的 r 倍（即构成几何级数）

• $r<1$，那么 $T(n)=O(f(n))$
• $r=1$，那么 $T(n)=O(f(n)logn)$
• $r>1$，那么 $T(n)=O(a^L)=O(a^{lo{g}_{b}n})=O(n^{lo{g}_{b}a})$

$T(n)=3T(n/4)+\Theta (n^2)$
最终递归树如图所示，每一层（除根节点）都和上一层差距 $3/16<1$ 倍，因此$T(n)=O(f(n))=O(n^2)$

但有的递归树各层节点值之和并不构成几何级数：

$T(n)=2T(n/2)+n/lgn$

第 $i$ 层的和为 $n/lg(n/2^i)=n/(lgn-i)$，$lgn-i\ge 1\Rightarrow i\le lgn-1$
$T(n)={\sum }_{i=0}^{L}n/(lgn-i)={\sum }_{i=0}^{lgn-1}n/(lgn-i)=={\sum }_{j=1}^{lgn}n/i$
使用调和级数：$H_n={\sum }_{i=1}^{n}1/i=\Theta (logn)$
因此 $T(n)={\sum }_{j=1}^{lgn}n/i=n{H}_{lgn}=\Theta (nlglgn)$

$T(n)=4T(n/2)+nlgn$
第 i 层共有 $4^i$ 个节点，其每个节点的时间花销：$(n/2^i)lg(n/2^i)=(n/2^i)(lgn-i)$
因此总的时间花销：$T(n)={\sum }_{i=0}^{lgn}(n/2^i)(lgn-i)=\Theta (n^2)$

$T(n)=nT(n)+n$
前几层的节点时间花销之和：

$T(n)={\sum }_{i=0}^{L}n$，$L=lglgn$
$T(n)=\Theta (nlglgn)$

$T(n)=T(n/3)+T(2n/3)+n$
该递归公式，最终绘制成的递归树，左右是不平衡的。
考虑上界和下界：
$lo{g}_{3}n\le L\le lo{g}_{3/2}n$
上界：$T(n)\le {\sum }_{i=0}^{lo{g}_{3/2}n}i=nlo{g}_{3/2}n$
上界：$T(n)\le {\sum }_{i=0}^{lo{g}_{3}n}i=nlo{g}_{3}n$
因此：$T(n)=\Theta (nlogn)$