<<算法图解>>笔记

第一章 算法简介

按从快到慢的顺序列出5种大O运行时间:

• O(log n)，也叫对数时间，这样的算法包括二分查找。
• O(n)，也叫线性时间，这样的算法包括简单查找。
• O(n * log n)，这样的算法包括第4章将介绍的快速排序——一种速度较快的排序算法。
• O(n 2 )，这样的算法包括第2章将介绍的选择排序——一种速度较慢的排序算法。
• O(n!)，这样的算法包括接下来将介绍的旅行商问题的解决方案——一种非常慢的算法。

获得的主要启示如下:

1. 算法的速度指的并非时间，而是操作数的增速。
2. 谈论算法的速度时，我们说的是随着输入的增加，其运行时间将以什么样的速度增加。
3. 算法的运行时间用大O表示法表示。
4. O(log n)比O(n)快，当需要搜索的元素越多时，前者比后者快得越多

小结

• 二分查找的速度比简单查找快得多。
• O(log n)比O(n)快。需要搜索的元素越多，前者比后者就快得越多。
• 算法运行时间并不以秒为单位。
• 算法运行时间是从其增速的角度度量的。
• 算法运行时间用大O表示法表示。

---

第二章 选择排序

需要同时读取所有元素时，链表的效率很高：你读取第一个元素，根据其中的地址再读取第二个元素，以此类推。但如果你需要跳跃，链表的效率真的很低。

需要随机地读取元素时，数组的效率很高，因为可迅速找到数组的任何元素。在链表中，元素并非靠在一起的，你无法迅速计算出第五个元素的内存地址，而必须先访问第一个元素以获取第二个元素的地址，再访问第二个元素以获取第三个元素的地址，以此类推，直到访问第五个元素。

小结

• 计算机内存犹如一大堆抽屉。
• 需要存储多个元素时，可使用数组或链表。
• 数组的元素都在一起。
• 链表的元素是分开的，其中每个元素都存储了下一个元素的地址。
• 数组的读取速度很快。
• 链表的插入和删除速度很快。
• 在同一个数组中，所有元素的类型都必须相同(都为int、double等)。

---

第三章 递归

如果使用循环，程序的性能可能更高；如果使用递归，程序可能更容易理解。如何选择要看什么对你来说更重要。

小结

• 递归指的是调用自己的函数。
• 每个递归函数都有两个条件：基线条件和递归条件。
• 栈有两种操作：压入和弹出。
• 所有函数调用都进入调用栈。
• 调用栈可能很长，这将占用大量的内存。

---

第四章 快速排序

学习分而治之。有时候，你可能会遇到使用任何已知的算法都无法解决的问题。优秀的算法学家遇到这种问题时，不会就此放弃，而是尝试使用掌握的各种问题解决方法来找出解决方案。分而治之是你学习的第一种通用的问题解决方法。

快速排序——一种常用的优雅的排序算法。快速排序使用分而治之的策略。

编写涉及数组的递归函数时，基线条件通常是数组为空或只包含一个元素。陷入困境时，请检查基线条件是不是这样的。

快速排序的独特之处在于，其速度取决于选择的基准值。

只要你每次都随机地选择一个数组元素作为基准值，快速排序的平均运行时间就将为O(n log n)。快速排序是最快的排序算法之一，也是D&C典范。

小结

• D&C将问题逐步分解。使用D&C处理列表时，基线条件很可能是空数组或只包含一个元素的数组。
• 实现快速排序时，请随机地选择用作基准值的元素。快速排序的平均运行时间为O(n log n)。
• 大O表示法中的常量有时候事关重大，这就是快速排序比合并排序快的原因所在。
• 比较简单查找和二分查找时，常量几乎无关紧要，因为列表很长时，O(log n)的速度比O(n)快得多。

---

第五章 散列表

处理冲突的方式很多，最简单的办法如下:如果两个键映射到了同一个位置，就在这个位置存储一个链表。

• 散列函数很重要。前面的散列函数将所有的键都映射到一个位置，而最理想的情况是， 散列函数将键均匀地映射到散列表的不同位置。
• 如果散列表存储的链表很长，散列表的速度将急剧下降。然而，如果使用的散列函数很好，这些链表就不会很长!

小结

• 你可以结合散列函数和数组来创建散列表。
• 冲突很糟糕，你应使用可以最大限度减少冲突的散列函数。
• 散列表的查找、插入和删除速度都非常快。
• 散列表适合用于模拟映射关系。
• 一旦填装因子超过0.7，就该调整散列表的长度。
• 散列表可用于缓存数据(例如，在Web服务器上)。
• 散列表非常适合用于防止重复。

---

第六章 广度优先搜索

解决最短路径问题的算法被称为广度优先搜索。

1. 使用图来建立问题模型。
2. 使用广度优先搜索解决问题。

广度优先搜索是一种用于图的查找算法，可帮助回答两类问题。

1. 第一类问题:从节点A出发，有前往节点B的路径吗?
2. 第二类问题:从节点A出发，前往节点B的哪条路径最短?

小结

1. 广度优先搜索指出是否有从A到B的路径。
2. 如果有，广度优先搜索将找出最短路径。
3. 面临类似于寻找最短路径的问题时，可尝试使用图来建立模型，再使用广度优先搜索来
   解决问题。
4. 有向图中的边为箭头，箭头的方向指定了关系的方向，例如，rama→adit表示rama欠adit钱
5. 无向图中的边不带箭头，其中的关系是双向的，例如，ross - rachel表示“ross与rachel约
   会，而rachel也与ross约会”。
6. 队列是先进先出(FIFO)的。
7. 栈是后进先出(LIFO)的。
8. 你需要按加入顺序检查搜索列表中的人，否则找到的就不是最短路径，因此搜索列表必
   须是队列。
9. 对于检查过的人，务必不要再去检查，否则可能导致无限循环。

---

第七章 狄克斯特拉算法(Dijkstra’s algorithm)

使用了广度优先搜索来查找两点之间的最短路径，那时“最短路径”的意思是段数最少。在狄克斯特拉算法中，给每段都分配了一个数字或权重，因此狄克斯特拉算法找出 的是总权重最小的路径。

狄克斯特拉算法只适用于有向无环图。

狄克斯特拉算法背后的关键理念:找出图中最便宜的节点，并确保没有到该节点的更便宜的路径!

小结

• 广度优先搜索用于在非加权图中查找最短路径。
• 狄克斯特拉算法用于在加权图中查找最短路径。
• 仅当权重为正时狄克斯特拉算法才管用。
• 如果图中包含负权边，请使用贝尔曼福德算法。

---

第八章 贪婪算法

贪婪算法很简单:每步都采取最优的做法。用专业术语说，就是你每步都选择局部最优解，最终得到的就是全局最优解。

NP完全问题的简单定义是，以难解著称的问题，如旅行商问题和集合覆盖问题。很多非常聪明的人都认为，根本不可能编写出可快速解决这些问题的算法。

小结

• 贪婪算法寻找局部最优解，企图以这种方式获得全局最优解。
• 对于NP完全问题，还没有找到快速解决方案。
• 面临NP完全问题时，最佳的做法是使用近似算法。
• 贪婪算法易于实现、运行速度快，是不错的近似算法。

---

第九章 动态规划

动态规划先解决子问题，再逐步解决大问题。

仅当每个子问题都是离散的，即不依赖于其他子问题时，动态规划才管用。

动态规划可帮助你在给定约束条件下找到最优解。在背包问题中，你必 须在背包容量给定的情况下，偷到价值最高的商品。

在问题可分解为彼此独立且离散的子问题时，就可使用动态规划来解决。 要设计出动态规划解决方案可能很难，这正是本节要介绍的。下面是一些通用的小贴士。

每种动态规划解决方案都涉及网格。

单元格中的值通常就是你要优化的值。在前面的背包问题中，单元格的值为商品的价值。

每个单元格都是一个子问题，因此你应考虑如何将问题分成子问题，这有助于你找出网格的坐标轴。

小结

• 需要在给定约束条件下优化某种指标时，动态规划很有用。
• 问题可分解为离散子问题时，可使用动态规划来解决。
• 每种动态规划解决方案都涉及网格。
• 单元格中的值通常就是你要优化的值。
• 每个单元格都是一个子问题,因此你需要考虑如何将问题分解为子问题.
• 没有放之四海皆准的计算动态规划解决方案的公式。

---

第十章 K最近邻算法(k-nearest neighbours，KNN)

使用KNN来做两项 基本工作——分类和回归:

• 分类就是编组;
• 回归就是预测结果(如一个数字)。

使用KNN时，挑选合适的特征进行比较至关重要。

小结

• KNN用于分类和回归，需要考虑最近的邻居。
• 分类就是编组。
• 回归就是预测结果(如数字)。
• 特征抽取意味着将物品(如水果或用户)转换为一系列可比较的数字。
• 能否挑选合适的特征事关KNN算法的成败。

如果你对数据库或高级数据结构感兴趣，请研究如下数据结构:B树，红黑树，堆， 伸展树。