算法及其复杂性分析整理

概述

通常，对于一个给定的算法，我们需要做两项分析。第一是从数学上证明算法的正确性，这一步主要用到形式化证明的方法及相关推理模式，如循环不变式、数学归纳法等。第二就是分析算法的复杂度。算法的复杂度反应了程序执行时间随输入规模增长而增长的量级，在很大程度上能很好的反应出算法的优劣与否。所以，作为程序员的我们，掌握基本的算法复杂度分析方法是有必要的。

1、算法

算法是指对特定问题求解步骤的一种描述。它不依赖于任何语言，既可以用自然语言、程序设计语言描述，也可以用流程图、框图来表示。

算法具有以下特性：

1. 有穷性：算法是由若干条指令组成的有穷序列，总是在执行若干次后结束，不可能永不停止。
2. 确定性：每条语句有确定的含义，无歧义。
3. 可行性：算法在当前环境条件下可以通过有限次运算实现。
4. 输入输出：有零个或多个输入，一个或多个输出。

而 好的算法 需要更高的标准：

1. 正确性：正确性是指算法能够满足具体问题的需求，程序运行正常，无语法错误，能够通过典型的软件测试，达到预期的需求。
2. 易读性：算法遵循标识符命名规则，简洁易懂，注释语言恰当适量，方便自己和他人阅读，便于后期调试和修改。
3. 健壮性：算法对非法数据及操作有较好的反应和处理。
4. 高效性：运行效率高，即算法运行时间短。算法时间复杂度就是算法运行需要的时间。
5. 低存储性：算法所需要的存储空间低。算法空间复杂度就是算法占用空间的大小。

2、时间复杂度

一个算法执行所消耗的时间，从理论上是不能计算出来的，必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试，只需知道哪个算法花费的时间多，哪个算法花费的时间少就可以了。一个算法的执行时间与算法中语句的执行次数成正比，算法中的语句执行次数称为语句频度或时间频度，记为T( n )。如：

//算法一

sum=0;						//运行1次
total=0;					//运行1次
for(i=1; i<=n; i++)			//运行n次
{
  sum=sum+i;				//运行n次
  for(j=1; j<=n; j++)		//运行n*n次
    total=total+i*j;		//运行n*n次
}
T (n) = 1+1+n+n+n*n+n*n = 2n^2+2n+2

在时间频度中，n称为问题的规模，当n不断变化时，T(n)也会不断变化。但有时我们想知道它变化时呈现什么规律，为此引入了 时间复杂度 的概念。

一般情况下，算法中基本操作重复执行的次数是问题规模n的某个函数，用T(n)表示，若有某个辅助函数f(n)，使得当n趋近于无穷大时，T(n)/f(n)的极限值为一个不等于零的常数，则称f(n)是T(n)的同数量级函数。令T(n) = O(f(n))，称O(f(n)) 为 算法的渐进时间复杂度，简称时间复杂度。如：

//算法二
i=1;				//运行1次
while(i<=n)			//可假设运行x次
{
  i=i*2;			//可假设运行x次
}

上列中，我们无法立即确定while 及 i = i * 2 运行了多少次，每次运算后 i 值为 2，$2^2$，…，$2^x$，当 i = n 时结束，即$2^x$