【数据结构】时间复杂度和空间复杂度

前言

1. 什么是数据结构

数据结构(Data Structure)是计算机存储、组织数据的方式，指相互之间存在一种或多种特定关系的数据元素的集合。

通俗的说，数据结构就是内存中管理数据的方式（这里的管理数据指的是对数据的增、删、查、改等）。

补充：
数据库是磁盘中管理数据的的方式。

2. 什么是算法

算法(Algorithm):就是定义良好的计算过程，他取一个或一组的值为输入，并产生出一个或一组值作为输出。简单来说算法就是一系列的计算步骤，用来将输入数据转化成输出结果。

这里说的时间复杂度和空间复杂度指的就是算法的时间复杂度和空间复杂度。

正文

1. 算法效率

1.1 如何衡量一个算法的优劣

算法在编写成可执行程序后，运行时需要耗费时间资源和空间(内存)资源 。因此衡量一个算法的好坏，一般是从时间和空间两个维度来衡量的，即时间复杂度和空间复杂度，统称为算法复杂度。

1.2 算法的复杂度

时间复杂度主要衡量一个算法的运行快慢，而空间复杂度主要衡量一个算法运行所需要的额外空间。在计算机发展的早期，计算机的存储容量很小。所以对空间复杂度很是在乎。但是经过计算机行业的迅速发展，计算机的存储容量已经达到了很高的程度。所以我们如今已经不需要再特别关注一个算法的空间复杂度。

2. 时间复杂度

2.1 定义

在计算机科学中，算法的时间复杂度是一个函数（数学上的函数），它定量描述了该算法的运行时间。一个算法执行所耗费的时间，从理论上说，是不能算出来的，只有你把你的程序放在机器上跑起来，才能知道。但是我们需要每个算法都上机测试吗？是可以都上机测试，但是这很麻烦，所以才有了时间复杂度这个分析方式。一个算法所花费的时间与其中语句的执行次数成正比例，算法中的基本操作的执行次数，为算法的时间复杂度。

2.2 计算

如何计算时间复杂度呢？
找到某条基本语句与问题规模N之间的数学表达式，即可算出时间复杂度。

//example： 请计算一下Func1中++count语句总共执行了多少次？
void Func1(int N)
{
	int count = 0;
	for (int i = 0; i < N; ++i)
	{
		for (int j = 0; j < N; ++j)
		{
			++count;
		}
	}
	for (int k = 0; k < 2 * N; ++k)
	{
		++count;
	}
	int M = 10;
	while (M--)
	{
		++count;
	}
	printf("%d\n", count);
}

这里，Func1()的基本操作此时：
$$F(N)=N^2+2\ast N+M(M为常数10)$$

• N=10时，F(N)=130
• N = 100，F(N) = 10210
• N = 1000 F(N) = 1002010

可以看出，当N无穷大时，低量级对F(N)的影响几乎可以小到忽略。

以小见大：
实际中我们计算时间复杂度时，我们其实并不一定要计算精确的执行次数，而只需要大概执行次数，那么这里我们使用大O的渐进表示法。

2.3 大O的渐进表示法

大O符号（Big O notation）：是用于描述函数渐进行为的数学符号。
推导大O阶方法：

1. 用常数1取代运行时间中的所有加法常数。
2. 在修改后的运行次数函数中，只保留最高阶项。
3. 如果最高阶项存在且不是1，则去除与这个项目相乘的常数。得到的结果就是大O阶。

上述Fun1函数的时间复杂度，使用大O渐进法表示，则为:

$$O(N^2)$$

注意：
有些算法的时间复杂度存在最好、一般、最差的情况。而在实际中，无论是准确计算，还是用大O渐进法计算，关注的都是其下界，也就是最差的情况。

2.3 时间复杂度计算的常见实例

实例1：

// 计算Func2的时间复杂度？
void Func2(int N)
{
	int count = 0;
	for (int k = 0; k < 2 * N; ++k)
	{
		++count;
	}
	int M = 10;
	while (M--)
	{
		++count;
	}
	printf("%d\n", count);
}

准确表达：
$$F(N)=2\ast N+10$$

大O渐进法：
$$O(N)$$

实例2：

// 计算Func3的时间复杂度？
void Func3(int N, int M)
{
	int count = 0;
	for (int k = 0; k < M; ++k)
	{
		++count;
	}
	for (int k = 0; k < N; ++k)
	{
		++count;
	}
	printf("%d\n", count);
}

准确表达：
$$F(N)=M+N$$
大O渐进法：
$$O(M+N)$$

若有前提：
若M远大于N，则O(M);
若M远小于N，则O(N);
若M等于N，则O(N),或O(M)

实例3：

// 计算Func4的时间复杂度？
void Func4(int N)
{
	int count = 0;
	for (int k = 0; k < 100; ++k)
	{
		++count;
	}
	printf("%d\n", count);
}

准确计算：100
大O渐进法：O(1)

实例4：

// 计算BubbleSort的时间复杂度？
void BubbleSort(int* a, int n)
{
	assert(a);
	for (size_t end = n; end > 0; --end)
	{
		int exchange = 0;
		for (size_t i = 1; i < end; ++i)
		{
			if (a[i - 1] > a[i])
			{
				Swap(&a[i - 1], &a[i]);
				exchange = 1;
			}
		}
		if (exchange == 0)
			break;
	}
}

N个数冒泡排序：
要比较(N-1)大趟，而每第i大趟，都要比较(N-i)小趟。
因此，最坏情况下，每第i趟比较的次数就是一个以1为公差，N-i为尾项的等差数列，
那么，总比较次数就是：N*(N-1)/2
大O渐进法：
$$O(N^2)$$

实例5：

// 计算斐波那契递归Fib的时间复杂度？
long long Fib(size_t N)
{
	if (N < 3)
		return 1;
	return Fib(N - 1) + Fib(N - 2);
}

3. 空间复杂度

3.1 定义

空间复杂度也是一个数学表达式，是对一个算法在运行过程中临时占用存储空间大小的量度 。
空间复杂度不是程序占用了多少bytes的空间，因为这个也没太大意义，所以空间复杂度算的是变量的个数。
空间复杂度计算规则基本跟实践复杂度类似，也使用大O渐进表示法。
注意：函数运行时所需要的栈空间(存储参数、局部变量、一些寄存器信息等)在编译期间已经确定好了，因此空间复杂度主要通过函数在运行时候显式申请的额外空间来确定。

3.2 实例

实例1：

// 计算BubbleSort的空间复杂度？
void BubbleSort(int* a, int n)
{
	assert(a);
	for (size_t end = n; end > 0; --end)
	{
		int exchange = 0;
		for (size_t i = 1; i < end; ++i)
		{
			if (a[i - 1] > a[i])
			{
				Swap(&a[i - 1], &a[i]);
				exchange = 1;
			}
		}
		if (exchange == 0)
			break;
	}
}

准确计算：3
大O渐进法：O(1)
分析：

end  一个；
exchange 一个；
i 一个

exchange和i都是在循环中，是局部变量，在栈区开辟；而空间可以重复利用，以exchange为例，在某次外层循环结束后，exchange所在空间被释放，但在下次再进外层循环时，为exchange开辟的空间依然在上次的位置，是同一块空间。

实例2：

// 计算Fibonacci的空间复杂度？
// 返回斐波那契数列的前n项
long long* Fibonacci(size_t n)
{
	if (n == 0)
		return NULL;
	long long* fibArray = (long long*)malloc((n + 1) * sizeof(long long));
	fibArray[0] = 0;
	fibArray[1] = 1;
	for (int i = 2; i <= n; ++i)
	{
		fibArray[i] = fibArray[i - 1] + fibArray[i - 2];
	}
	return fibArray;
}

（上图中忘记计算F(N)本身，总的应是开辟N个空间，而不是N-1）

空间复杂度：O(N)
分析：
每调用一次函数，就会为函数创建一次栈帧，总共调用了N次，开辟了N个栈帧。