算法复杂性分析概述

写在前面
最近在做一些矩阵连乘的算法，忘记了之前所学的一些渐进分析符，就顺带回忆一些算法时间复杂度。

算法复杂性 = 算法所需要的计算机资源
算法的时间复杂性T(n)=T(n,i)；
算法的空间复杂性S(n)= S(n,i) 。
其中n是问题的规模（输入大小）i表示算法及其输入。
算法的时间复杂度反映了程序执行时间随输入规模增长而增长的量级，在一定程度上能很好反映出算法的优劣与否。因此作为编程人员掌握基本的算法时间复杂度分析方法很有必要的。
算法的空间复杂度与时间复杂度计量方法相似且相对简单。

算法时间复杂度

一个算法是由控制结构（顺序、分支、循环） 和原操作（固有数据类型的操作）构成的，那么算法时间取决于两者的综合效果。
通常从算法中选取一种对于所研究的问题来说是基本操作的原操作，以该基本操作的重复执行的次数作为算法的时间量度。

一个算法中的语句执行次数称为时间频度T(n),n称为问题的规模，当不断变化时，时间频度也会不断变化，为了研究其变化规律引入时间复杂度。若有一个辅助函数f(n)，使得当n趋近于无穷大时,T(n)/f(n)的极限值不为零的常数，则称f(n)是T(n)的同数量级函数。记作T(n)=O(f(n)),称O(f(n))为算法的渐进时间复杂度，简称时间复杂度。

T(n) →∞ , as n→∞ ;
(T(n) - t(n) )/ T(n) →0 ，as n→∞;
t(n)是T(n)的渐近性态，为算法的渐近复杂性。
在数学上， t(n)是T(n)的渐近表达式，是T(n)略去低阶项留下的主项。它比T(n) 简单。
如T(n)=2nn+n+1，此时t(n)=nn.

渐近分析的记号

在下面的讨论中，对所有n，f(n) ≥ 0，g(n) ≥ 0。
（1）渐近上界记号O
O(g(n)) = { f(n) | 存在正常数c和n0使得对所有n≥ n0有：0 ≤ f(n) ≤ cg(n) }
（2）渐近下界记号Ω
Ω (g(n)) = { f(n) | 存在正常数c和n0使得对所有n≥ n0有：0≤ cg(n) ≤ f(n) }
（3）紧渐近界记号Θ
Θ (g(n)) = { f(n) | 存在正常数c1,c2和n0使得对所有n≥ n0有：c1g(n) ≤ f(n) ≤ c2g(n) }，即g(n)与f(n)的同阶。

用张图来描述一下这三哥记号，以便加深印象

算术运算：
顺序结构：
O(f(n))+O(g(n)) = O(max{f(n),g(n)}) ；
O(f(n))+O(g(n)) = O(f(n)+g(n)) ；
循环结构：
O(f(n))*O(g(n)) = O(f(n)*g(n)) ；
O(cf(n)) = O(f(n)) ；
g(n)= O(f(n)) ⇒ O(f(n))+O(g(n)) = O(f(n)) 。

这些运算公示在这里就不证明了，百度有很多。