第一篇 算法与时间复杂度

算法的几个例子

算法的简单定义：将一定的输入转化为输出的过程

几个简单的例子了解哪些内容都是算法：

• 在Excel表格中，需要针对某一列按照从小到大排序。——排序算法
• 在地图的日常使用中，需要查找一条到达目的地的最短路径。——单源最短路算法
• 将一对新闻的标题放到库中，针对其建立一个搜索引擎。——分词算法+倒排索引+排序算法

数学归纳法与递推

数学归纳法的基本思想是：

• 在 n=1 时命题成立
• 证明如果在 n=m 时命题成立，那么 n=m+1 时命题成立

这里不是要复习高中数学，而是要沿用其中的思想到递推中，考虑下面的算法问题：

小赖的爱好是花式爬楼梯，每次他可以爬1-3阶台阶，他数了一下，一层楼的楼梯有12阶，那么他爬到12阶的时候，一共有多少种爬楼梯的方式呢？

上面这个算法问题就需要用到递推的思想，假设 n 代表了第几阶楼梯，S(n) 代表在这阶楼梯上有几种爬法，那么我们可以得到下面的结论：

• 当 n=0 时，只有一种爬法（因为已经在这里了）
• 当 n=k 时，S(n)=S(n-1)+S(n-2)+S(n-3)，该等式中当 n<0 时，S(n)=0，因为没有办法爬到0阶台阶以下

通过上面的方法就可以直接计算出第12阶台阶上一共有多少种爬法，利用了和数学归纳法一样的思想，这也是计算机算法的一种基础思想。

递归与分治

还是上面关于小赖爬楼梯的问题，如果将思考的顺序倒过来，就变成了另一个实现算法的基础思想：

• 假设我编写了一个函数 stepWays(n) 返回 S(n)，并且该函数一定能返回正确结果，那么有 stepWays(n)=stepWays(n-1)+stepWays(n-2)+stepWays(n-3)
• 当然，如果没有写任何其他条件那么程序将永远不停的运行下去，于是添加两个条件：stepWays(0)=1 以及 stepWays(n<0)=0，这样程序就可以得出正确的答案

乍一看这种方式和递推一样，但是其实思想和递推有很多不同，递归使用如下方式：

• 确定递归函数
• 确定问题边界

而分治策略则时长和递归紧密结合在一起，它的思考方式和递归非常相似，在我们拿到一个巨大的问题难以解决的时候，分治策略通过如下方式解决：

• 将大问题分解成几个子问题
• 确定最小单元子问题的解决方案

考虑下面的算法问题：

小鑫河最近迷上了玩汉诺塔，可是小学还没毕业的他玩起来有点难度，汉诺塔的基本规则是：有三根杆子 A，B，C。A 杆上有 N(N>1) 个穿孔圆盘，盘的尺寸由下到上依次变小。要求按下列规则将所有圆盘移至 C 杆：每次只能移动一个圆盘；大盘不能叠在小盘上面。你可以帮他解决这个问题吗？

对于汉诺塔的经典问题，在N很大的时候我们并不能一次性解决这个问题，利用递归和分治的思想我们可以这样解决：

• 为了将圆盘全部移动到 C，我们需要首先将 N-1 个圆盘移动到 B，然后将最底下最大的圆盘移动到 C，然后再将 N-1 个圆盘移动到 C
• 当 N=1 时，我们直接将圆盘移动到 C 就可以了

上面的话可能不是特别好理解，但是网络上对于汉诺塔经典问题的解有好多，大家可以去搜索一下就可以看到。

时间复杂度

时间复杂度是衡量算法的好坏的尺度，如果不知道时间复杂度，那么就意味着没有办法对设计的算法进行评价，而如果对时间复杂度的概念都不清楚，那么就可以基本认定不懂算法了。

时间复杂度的简单定义：时间复杂度是一个描述算法运行时间的函数

关于时间复杂度有两个概念的意义，一是了解，二是进行计算，在进行计算之后，可能需要针对问题的参考范围进行特定的优化。

还是利用上面关于小赖爬楼梯的例子：

• 针对递推的方案，假设计算一次需要 O(1) 的时间，那么从 n=0 开始，直到 n=i 的时候，我们一共需要计算 i 次，因此整体的复杂度就是 O(n)；
• 如果放在递归上，那么时间复杂度可能就大不相同，针对 n=i 的情况，我们需要计算 n=i-1,n=i-2,n=i-3，在计算 n=i-1 的时候，我们又需要计算 n=i-2,n=i-3,n=i-4的情况，因此我们需要计算的次数为：1+3+9+...+3^{n-1}， 对这个等比数列求和我们可以得到总共需要计算的次数：(3^n-1)/2，那么整体的时间复杂度就是 O((3^n-1)/2)

而当 n 越来越大的时候，在复杂度关于 n 的多项式中，仅有 n 的最高次项增长最快，所以我们一般会以 n 的最高次项来描述一个算法的复杂度，所以刚刚的结论就是，递推的复杂度为 O(n)，而递归的复杂度为 O(3^n)

最后留个思考题：

• 为什么递推和递归的算法看起来是一样的，可是递归的时间复杂度高出那么多？如果想要改进该如果改进？
• 尝试着计算一下小鑫河汉诺塔问题的时间复杂度

---

转载请注明来自于 贺云飞的

这个系列的博客可以作为《算法导论》的简单概要，或者说重点介绍，希望给正在学算法的同学一点参考，顺带感谢一下赖赖给我的动力，这里是传送门：Spring step by step