精讲算法的时间复杂度

目录

一、算法效率

1.算法效率

1.1如何衡量一个算法的好坏

1.2算法的复杂度

二、时间复杂度

1.时间复杂度的概念

2.大O的渐进表示法

3.常见时间复杂度的计算举例

三、空间复杂度

---

一、算法效率

1.算法效率

1.1如何衡量一个算法的好坏

long long Fib(int N)
{
    if(N < 3)
    return 1;

    return Fib(N-1) + Fib(N-2);
}

斐波那契数列的递归实现方式非常简洁，但简洁一定好吗？那该如何衡量其好与坏呢？

1.2算法的复杂度

算法在编写成可执行程序后，运行时需要耗费时间资源和空间(内存)资源 。因此衡量一个算法的好坏，一般是从时间和空间两个维度来衡量的，即时间复杂度和空间复杂度。
时间复杂度主要衡量一个算法的运行快慢，而空间复杂度主要衡量一个算法运行所需要的额外空间。在计算机发展的早期，计算机的存储容量很小。所以对空间复杂度很是在乎。但是经过计算机行业的迅速发展，计算机的存储容量已经达到了很高的程度。所以我们如今已经不需要再特别关注一个算法的空间复杂度。

二、时间复杂度

1.时间复杂度的概念

时间复杂度的定义：时间复杂度的定义：在计算机科学中，算法的时间复杂度是一个函数，它定量描述了该算法的运行时间。一个算法执行所耗费的时间，从理论上说，是不能算出来的，只有你把你的程序放在机器上跑起来，才能知道。但是我们需要每个算法都上机测试吗？是可以都上机测试，但是这很麻烦，所以才有了时间复杂度这个分析方式。一个算法所花费的时间与其中语句的执行次数成正比例，算法中的基本操作的执行次数，为算法的时间复杂度。
即：找到某条基本语句与问题规模N之间的数学表达式，就是算出了该算法的时间复杂度。

请计算下Func1中的++count语句总共执行了多少次？

void Func1(int N)
{
	int count = 0;
	for (int i = 0; i < N; ++i)
	{
		for (int j = 0; j < N; ++j)
		{
			++count;
		}
	}
	for (int k = 0; k < 2 * N; ++k)
	{
		++count;
	}
	int M = 10;
	while (M--)
	{
		++count;
	}
	printf("%d\n", count);
}

我们可以得出Func1执行的次数：F(N)=N^2+2*N+10

当N=10   F(N)=30;

当N=100  F(N)=10210;

当N=1000  F(N)=1002010;

 实际中我们计算时间复杂度时，我们其实并不一定要计算精确的执行次数，而只需要大概执行次数，那么这里我们使用大O的渐进表示法。

2.大O的渐进表示法

大O符号：适用于描述函数渐进行为的数学符号。

推导大O的方法：

1、用常数1取代运行时间中的所有加法常数。
2、在修改后的运行次数函数中，只保留最高阶项。
3、如果最高阶项存在且不是1，则去除与这个项目相乘的常数。得到的结果就是大O阶。

有些大O的推导类似于高等数学中的取极限

就例如Func1
使用大O的渐进表示法以后，Func1的时间复杂度为O(N^2)

N = 10 F(N) = 100
N = 100 F(N) = 10000
N = 1000 F(N) = 1000000

当N的取值非常大时我们可以省略数据中的一些数，取个大概，看着是不是类似于高等数学中的取极限

通过上面我们会发现大O的渐进表示法去掉了那些对结果影响不大的项，简洁明了的表示出了执行次数。
另外有些算法的时间复杂度存在最好、平均和最坏情况：
最坏情况：任意输入规模的最大运行次数(上界)
平均情况：任意输入规模的期望运行次数
最好情况：任意输入规模的最小运行次数(下界)
例如：在一个长度为N数组中搜索一个数据x
最好情况：1次找到
最坏情况：N次找到
平均情况：N/2次找到

在实际中一般关注的是算法的最坏运行情况，随意数组中搜索数据的时间复杂度为O(N)。

3.常见时间复杂度的计算举例

实例1：

计算Func的时间复杂度？

void Func(int N)
{
	int count = 0;
	for (int k = 0; k < 2 * N; ++k)
	{
		++count;
	}
	int M = 10;
	while (M--)
	{
		++count;
	}
	printf("%d\n", count);
}

Func执行次数表达式：F(N)=2*N+10

当N=10                        F(N)=30

当N=1000                    F(N)=2010

当N=1000000             F(N)=20000010

当n取很大的数值时表达式中的10可以省略，无论N乘不乘以2都是在一个数量级，也可以省略，这样我们就得到Func的之间复杂度为N,表示为O(1)。

实例2：

计算Func的时间复杂度？
 

void Func3(int N, int M)
{
	int count = 0;
	for (int k = 0; k < M; ++k)
	{
		++count;
	}
	for (int k = 0; k < N; ++k)
	{
		++count;
	}
	printf("%d\n", count);
}

Func的执行次数表达式为：F(N)=M+N

这里我们就要分情况讨论了

情形1：当M>>N时，根据高等数学求极限的思想N可以省略

所以， 我们可以得到Func的时间复杂度为M，表示为O(M)。

情形2：当M<

情形3：当M==N时，Func的执行次数表达式可以表示为F(N)=2M或者F(N)=2N

Func的时间表达式为O(N)或者O(M)。

实例3：

计算Func的时间复杂度？

void Func4(int N)
{
	int count = 0;
	for (int k = 0; k < 100; ++k)
	{
		++count;
	}
	printf("%d\n", count);
}

Func的计算表达式为F(N)=100

根据大O的推导1，我们可以很轻松的得到Func的时间复杂度为O(1)。

实例4：

计算strchr的时间表达式？

const char * strchr ( const char * str, int character );

库函数strchr表示在一个字符串中查找一个字符

这道题目我们也要分情况

最好基本操作执行一次，所以时间复杂度为O(1)

平均基本操作执行2/N次，所以时间复杂度为O(N/2)

最坏我们要遍历整个数组基本操作执行N次，所以时间复杂度为O(N)。

实例5：

计算BubbleSort的时间复杂度？

void BubbleSort(int* a, int n)
{
	assert(a);
	for (size_t end = n; end > 0; --end)
	{
		int exchange = 0;
		for (size_t i = 1; i < end; ++i)
		{
			if (a[i - 1] > a[i])
			{
				Swap(&a[i - 1], &a[i]);
				exchange = 1;
			}
		}
		if (exchange == 0)
			break;
	}
}

这是一个冒泡函数时间复杂度的计算，通过前面的几道时间复杂度的计算我们发现可以通过阅读代码计算出时间复杂度，乍一看这道题我们很难阅读代码获得答案。

这里也要分情况：

情形一：所给的一组数刚好是拍好顺序的，也就是最好的情况，也要进行n-1次比较，所以时间复杂度为O(N)。

情形二：所给的一组数是杂乱顺序的

我们不难发现执行次数是等差数列，根据等差数列的求和的到执行次数的表达式：F(N)=n*(n-1)/2

所以时间复杂度为O(N ^2)。

实例6：

计算BinarySearch（二分法）的时间复杂度？

int BinarySearch(int* a, int n, int x)
{
	assert(a);
	int begin = 0;
	int end = n - 1;
	while (begin <= end)
	{
		int mid = begin + ((end - begin) >> 1);
		if (a[mid] < x)
			begin = mid + 1;
		else if (a[mid] > x)
			end = mid - 1;
		else
			return mid;
	}
	return -1;
}

假设我们有N个数，最好的情况为执行一次找到，最坏的情况为一直折半下去，直到剩下最后一个数字，也就是我们要找的那个数字，所以执行次数的表达式为2^x=N，解这个表达式x=logN，所以二分法的时间复杂度为O(logN)。

ps:logN在算法分析中表示的是底数为2，对数为N。

实例7：

计算阶乘递归的时间复杂度？

long long Fac(size_t N)
{
	if (0 == N)
		return 1;
	return Fac(N - 1) * N;
}

基本操作执行了N次，时间复杂度为O（N）。

总结：递归算法时间复杂度是多次调用的累加

实例8：

计算斐波那契递归的时间复杂度？

long long Fib(size_t N)
{
	if (N < 3)
		return 1;
	return Fib(N - 1) + Fib(N - 2);
}

所以时间复杂度为O(2^N)。

三、空间复杂度

空间复杂度也是一个数学表达式，是对一个算法在运行过程中临时占用存储空间大小的量度 。
空间复杂度不是程序占用了多少bytes的空间，因为这个也没太大意义，所以空间复杂度算的是变量的个数。
空间复杂度计算规则基本跟实践复杂度类似，也使用大O渐进表示法。
注意：函数运行时所需要的栈空间(存储参数、局部变量、一些寄存器信息等)在编译期间已经确定好了，因此空间复杂度主要通过函数在运行时候显式申请的额外空间来确定。

实例1：

计算BubbleSort的空间复杂度？

void BubbleSort(int* a, int n)
{
	assert(a);
	for (size_t end = n; end > 0; --end)
	{
		int exchange = 0;
		for (size_t i = 1; i < end; ++i)
		{
			if (a[i - 1] > a[i])
			{
				Swap(&a[i - 1], &a[i]);
				exchange = 1;
			}
		}
		if (exchange == 0)
			break;
	}
}

实例2：

计算斐波那契数列的空间复杂度？

long long* Fibonacci(size_t n)
{
	if (n == 0)
		return NULL;
	long long* fibArray = (long long*)malloc((n + 1) * sizeof(long long));
	fibArray[0] = 0;
	fibArray[1] = 1;
	for (int i = 2; i <= n; ++i)
	{
		fibArray[i] = fibArray[i - 1] + fibArray[i - 2];
	}
	return fibArray;
}

实例3：

计算结阶乘递归的空间复杂度？

long long Fac(size_t N)
{
if(N == 0)
return 1;
return Fac(N-1)*N;
}

答案及分析：

1. 实例1使用了常数个额外空间，所以空间复杂度为 O(1)
2. 实例2动态开辟了N个空间，空间复杂度为 O(N)
3. 实例3递归调用了N次，开辟了N个栈帧，每个栈帧使用了常数个空间。空间复杂度为O(N)