主定理(Master Theorem)

主定理是分析分治算法时间复杂度很重要的一个定理。

我们之前对于一个递归类的代码进行时间复杂度分析，一般会采用递归树的方式，下面我们先介绍一下递归树的方式，理解之后，再引入主定理的相关内容。

分治的介绍

分治算法总是将问题的规模不断的拆分，以归并排序为例。

假设$T(n)$代表原问题的规模，$n$为输入数据的规模。

第一次拆分后，假设拆分成两份，规模就变成了$\frac{n}{2}$​，然后各自再递归调用归并排序，这部分时间复杂度为$2T(\frac{n}{2})$，最后将这两个排好序的子数组进行合并，所需时间为$\Theta (n)$。

$\Theta$为同阶，$\Omega$为下界，$O$为上界。

那么就可以得出：
$$T(n)=\{\begin{array}{rl}& \Theta (1)n=1\\ & 2T(\frac{n}{2})+\Theta (n)n>1\end{array}$$

递归树

以$T(n)=3T(\frac{n}{4})+\Theta (n^2)$​为例：

总代价为:

$$\begin{array}{rl}T(n)& =c{n}^2+\frac{3}{16}c{n}_2+(\frac{3}{16}{)}^{2}c{n}^2+...+(\frac{3}{16}{)}^{lo{g}_4^{n-1}}c{n}^2+\Theta (n^{lo{g}_4^3})\\ & =\sum _{i=0}^{lo{g}_4^{n-1}}(\frac{3}{16}{)}^{i}c{n}^2+\Theta (n^{lo{g}_4^3})\\ & <\sum _{i=0}^{\infty }(\frac{3}{16}{)}^{i}c{n}^2+\Theta (n^{lo{g}_4^3})\text{放缩}\\ & =\frac{1}{1-\frac{3}{16}}c{n}^2+\Theta (n^{lo{g}_4^3})\\ & =\frac{16}{13}c{n}^2+\Theta (n^{lo{g}_4^3})\Theta (n^{lo{g}_4^3})\text{低阶项}\\ & =O(n^2)\text{上界}\end{array}$$
同时我们知道，每一项都包含$n^2$，并且系数都是正的，那么下界为$T(n)=\Omega (n^2)$。

主定理

$T(n)=aT(\frac{n}{b})+f(n)$

a: 被分解为a个子问题。

b: >1的整数，表示每次分治，问题规模都被缩小为之前的$\frac{1}{b}$​。

$f(n)$: 渐进正函数，表示分解和合并的代价。

总代价为:$T(n)=\Theta (n^{lo{g}_b^a})+{\sum }_{j=0}^{lo{g}_b^{n-1}}{a}^{j}f(\frac{n}{b^j})$

设$g(n)={\sum }_{j=0}^{lo{g}_b^{n-1}}{a}^{j}f(\frac{n}{b^j})$，$\Theta (n^{lo{g}_b^a})$和之间$f(n)$的大小关系决定了$g(n)$的化简形式。

• 若$\Theta (n^{lo{g}_b^a})>f(n)$，
  $$g(n)=O(n^{lo{g}_b^a})$$
  那么，
  $$\begin{array}{rl}T(n)& =\Theta (n^{lo{g}_b^a})+O(n^{lo{g}_b^a})\\ & =\Theta (n^{lo{g}_b^a})(\text{同阶})\end{array}$$

• 若$\Theta (n^{lo{g}_b^a})=f(n)$​​，
  $$g(n)=\Theta (n^{lo{g}_b^a}logn)$$
  那么，
  $$\begin{array}{rl}T(n)& =\Theta (n^{lo{g}_b^a})+\Theta (n^{lo{g}_b^a}logn)\\ & =\Theta (n^{lo{g}_b^a}logn)(\text{同阶})\end{array}$$

• 若$\Theta (n^{lo{g}_b^a})<f(n)$​​​，
  $$g(n)=\Theta (f(n))$$
  那么，
  $$\begin{array}{rl}T(n)& =\Theta (n^{lo{g}_b^a})+\Theta (f(n))\\ & =\Theta (f(n))\end{array}$$

综上所述：
$$T(n)=\{\begin{array}{rlr}& \Theta (n^{lo{g}_b^a})& \Theta (n^{lo{g}_b^a})>f(n)\\ & \Theta (n^{lo{g}_b^a}logn)& \Theta (n^{lo{g}_b^a})=f(n)\\ & \Theta (f(n))& \Theta (n^{lo{g}_b^a})<f(n)\end{array}$$
举个例子：

1. $T(n)=T(\frac{2n}{3})+1$​​

   $n^{lo{g}_b^a}=n^{lo{g}_{\frac{3}{2}}^1}=1$​​​ 与$f(n)=1$​​​ 相等，因此$T(n)=\Theta (n^{lo{g}_b^a}logn)=\Theta (nlogn)$​。​​

2. $T(n)=3T(\frac{n}{4})+n^2$​

   $n^{lo{g}_b^a}=n^{lo{g}_4^3}$，$<f(n)=n^2$，因此$T(n)=\Theta (n^2)$，和上面递归树推出来的一样。​​