算法分析基本概念

为什么需要复杂度分析

当我们评估一个算法的执行效率的是，有一种很直观的方法叫事后统计法，就是通过各种检测，得出某个算法实际的运行时间，但是这种方法有很多局限性：

• 测试结果非常依赖测试环境
• 测试结果受数据规模影响很大

所以我们需要一个不用具体的数据来测试，就可以粗略估计算法的执行效率的方法

四个定义：

• 如果存在正常数$c$ 和$n_0$，使得当$N\ge n_0$时，$T(N)\le cf(N)$，则记为$T(N)=O(f(n))$（上界）
• 如果存在正常数$c$ 和$n_0$，使得当$N\ge n_0$时，$T(N)\ge cf(N)$，则记为$T(N)=\Omega (f(n))$（下界）
• $T(N)=\Theta (h(N))$当且仅当$T(N)=O(h(N))$和$T(N)=\Omega (h(N))$（紧确界）
• 如果对每一正常数$c$都存在常数$n_0$，使得当$N>n_0$时，$T(N)<cp(N)$，则$T(N)=o(p(N))$

给定的两个函数，通常会存在一些点，在这些点上一个函数的值小于另一个函数，所以单纯的比较两个函数的大小是没有意义的，我们比较的是他们的相对增长率，在描述的时候，应该说一个算法复杂度是“大O…级的”

重要结论

• 如果$T_1(N)=O(f(N))$且$T_2(N)=O(g(N))$，那么
  1. $T_1(N)+T_2(N)=O(f(N)+g(N))$（直观和非直观的可以写成$max(O(f(N),O(g(N)))$）
  2. $T_1(N)\ast T_2(N)=O(f(N)\ast g(N))$
• 如果$T(N)$是一个$k$次多项式，则$T(N)=\Theta (N^k)$
• 对于任意常数$k$，$lo{g}^{k}N=O(N)$，它告诉我们对数增长的非常缓慢

注意不要写成$f(N)\le O(g(N))$，因为大$O$表示法已经包含了小于等于的意思，应该直接用$f(N)=O(g(N))$

模型

在我们的计算模型中：

• 机器指令顺序执行
• 有一个标准的简单指令系统，如加减乘除赋值等
• 每件简单的工作都恰好花费一个一个时间单位
• 不存在矩阵求逆、排序等操作
• 无限内存