主定理 Master Theorem

主定理 Master Theorem

• 什么是主定理？
  在算法分析中，主定理（master theorem）提供了用渐近符号表示许多由分治法得到的递推关系式的方法。
• 主定理的作用？
  简单来说是用来计算递归时时间复杂度的一种方法。

当有递归关系式
$$T\left(n\right)=aT\left(\frac{n}{b}\right)+O\left(n^d\right)$$
其中$n$为问题规模，$a$为执行的递归子问题数量，$\frac{n}{b}$为子问题的规模

由递归关系可得到上表，累加得到
$$Totalwork=\sum _{i=0}^{lo{g}_{b}n}O\left(n^d\right){\left(\frac{a}{b^d}\right)}^i$$
其中$i$为从0开始的递归层数
由时间复杂度的定义可知

• 当$\frac{a}{b^d}>1$时，时间复杂度为最后一项
  即$$Totalwork=O\left(O\left(n^d\right){\left(\frac{a}{b^d}\right)}^{lo{g}_{b}n}\right)=O\left(n^{lo{g}_{b}a}\right)$$

• 当$\frac{a}{b^d}=1$时，等比数列求和
  即$$Totalwork=O\left(n^d\right)\left(1+lo{g}_{b}n\right)=O\left(n^{d}lo{g}_{b}n\right)$$

• 当$\frac{a}{b^d}<1$时，时间复杂度为第一项
  即$$Totalwork=O\left(O\left(n^d\right){\left(\frac{a}{b^d}\right)}^0\right)=O\left(n^d\right)$$

举个栗子

• 归并排序时：
  a=2（将一个区间分为两个待排序的区间且分别执行）
  b=2（将区间分成两个部分）
  d=1（每次递归结束将两个区间归并时间复杂度$O(n)$）
  所以归并排序的时间复杂度为$O(nlogn)$

• 二分查找位置时:
  a=1(虽然将一个区间分为了两个，但是由于会比较mid与当前值，所以实际被执行的区间是左区间或者右区间其中一个，所以a=1而不是a=2)
  b=2（将区间分成两个部分）
  d=0（由于是查找位置,所以每次操作只有一次求mid，时间复杂度为$O(1)$）
  所以二分查找位置的时间复杂度为$O(logn)$