《算法图解》学习笔记(十一):十种经典的算法与数据结构

python学习之路 - 从入门到精通到大师

文章目录

    • [python学习之路 - 从入门到精通到大师](https://blog.csdn.net/TeFuirnever/article/details/90017382)
    • 一、树
    • 二、反向索引
    • 三、傅里叶变换
    • 四、并行算法
    • 五、MapReduce
        • 1)分布式算法为何很有用
        • 2)映射函数
        • 3)归并函数
    • 六、布隆过滤器和HyperLogLog
        • 1)布隆过滤器
        • 2)HyperLogLog
    • 七、SHA 算法
        • 1)比较文件
        • 2)检查密码
    • 八、局部敏感的哈希算法
    • 九、Diffie-Hellman 密钥交换
    • 十、线性规划
    • 十一、总结
    • 参考文章

一、树

在二分查找(《算法图解》学习笔记(一):二分查找(附代码))示例中,每当用户登录Facebook时,Facebook都必须在一个庞大的数组中查找,核实其中是否包含指定的用户名。而在这种数组中查找时,最快的方式是二分查找,但问题是每当有新用户注册时,都必须将其用户名插入该数组并重新排序,因为 二分查找仅在数组有序时才管用。如果能将用户名插入到数组的正确位置就好了,这样就无需在插入后再排序。

为此,有人设计了一种名为 二叉查找树(binary search tree) 的数据结构。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第1张图片
二叉查找树类似于下面这样。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第2张图片
对于其中的每个节点,左子节点的值都比它小,而右子节点的值都比它大。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第3张图片
假设你要查找Maggie,为此,首先检查根节点。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第4张图片
Maggie排在David的后面,因此你往右边找。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第5张图片
Maggie排在Manning前面,因此你往左边找。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第6张图片
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第7张图片
终于找到了Maggie!这几乎与二分查找一样!

  • 在二叉查找树中查找节点时,平均运行时间为O(log n),但在最糟的情况下所需时间为O(n);
  • 而在有序数组中查找时,即便是在最糟情况下所需的时间也只有O(log n)。

因此你可能认为有序数组比二叉查找树更佳。然而,二叉查找树的插入和删除操作的速度要快得多。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第8张图片
二叉查找树也存在一些缺点,例如,不能随机访问,就像不能这么说:“给我第五个元素”。还有在二叉查找树处于平衡状态时,平均访问时间也为O(log n)。

假设二叉查找树像下面这样处于不平衡状态。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第9张图片
注意,这棵树是向右倾斜的,因此性能不佳。

也有一些处于平衡状态的特殊二叉查找树,如红黑树。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第10张图片
那在什么情况下使用二叉查找树呢?B树是一种特殊的二叉树,数据库常用它来存储数据。

如果你对数据库或高级数据结构感兴趣,请研究如下数据结构:B树,红黑树,堆,伸展树。

二、反向索引

这里非常简单地说说搜索引擎的工作原理。

假设你有三个网页,内容如下。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第11张图片
我们根据这些内容创建一个哈希表。(《算法图解》学习笔记(五):哈希表,小名散列表(附代码))
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第12张图片
这个哈希表的键为单词,值为包含指定单词的页面。现在假设有用户搜索 hi,在这种情况下,搜索引擎需要检查哪些页面包含 hi
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第13张图片
搜索引擎发现页面A和B包含 hi,因此将这些页面作为搜索结果呈现给用户。再假设现在用户搜索 there。通过哈希表,你就知道了页面A和C包含它。非常简单,不是吗?这是一种很有用的数据结构:一个哈希表,将单词映射到包含它的页面。这种数据结构被称为 反向索引(inverted index),常用于创建搜索引擎。

如果你对搜索感兴趣,从 反向索引 着手研究是不错的选择。

三、傅里叶变换

《算法图解》学习笔记(十一):十种经典的算法与数据结构_第14张图片
绝妙、优雅且应用广泛的算法少之又少,傅里叶变换 算是一个。

Better Explained是一个杰出的网站,致力于以通俗易懂的语言阐释数学,它就 傅里叶变换 做了一个绝佳的比喻:给它一杯冰沙,傅里叶变换能告诉你,其中包含哪些成分。换言之,给定一首歌曲,傅里叶变换能够将其中的各种频率分离出来。

这种理念虽然简单,应用却极其广泛。例如,如果能够将歌曲分解为不同的频率,就可强化你关心的部分,如强化低音并隐藏高音。傅里叶变换非常适合用于处理信号,可使用它来压缩音乐。为此,首先需要将音频文件分解为音符。傅里叶变换能够准确地指出各个音符对整个歌曲的贡献,让你能够将不重要的音符删除,这就是 MP3格式的工作原理!数字信号并非只有音乐一种类型。JPG也是一种压缩格式,也采用了刚才说的工作原理。傅里叶变换还被用来地震预测和DNA分析。使用傅里叶变换还可创建类似于Shazam这样的 音乐识别软件

傅里叶变换的用途极其广泛,你遇到它的可能性极高!

四、并行算法

《算法图解》学习笔记(十一):十种经典的算法与数据结构_第15张图片
我们身处一个处理器速度越来越快的时代,如果你要提高算法的速度,可等上几个月,届时计算机本身的速度就会更快。但这个时代已接近尾声,因此笔记本电脑和台式机转而采用多核处理器。为提高算法的速度,你需要让它们能够在多个内核中并行地执行!

来看一个简单的例子。在最佳情况下,排序算法的速度大致为O(n log n)。众所周知,对数组进行排序时,除非使用并行算法,否则运行时间不可能为O(n)!对数组进行排序时,快速排序的并行版本所需的时间为O(n)。

并行算法设计起来很难,要确保它们能够正确地工作并实现期望的速度提升也很难。有一点是确定的,那就是 速度的提升并非线性的,因此即便你的笔记本电脑装备了两个而不是一个内核,算法的速度也不可能提高一倍,其中的原因有两个:

  • 并行性管理开销。假设你要对一个包含1000个元素的数组进行排序,如何在两个内核之间分配这项任务呢?如果让每个内核对其中500个元素进行排序,再将两个排好序的数组合并成一个有序数组,那么合并也是需要时间的。

  • 负载均衡。假设你需要完成10个任务,因此你给每个内核都分配5个任务。但分配给内核A的任务都很容易,10秒钟就完成了,而分配给内核B的任务都很难,1分钟才完成。这意味着有那么50秒,内核B在忙死忙活,而内核A却闲得很!你如何均匀地分配工作,让两个内核都一样忙呢?

要改善性能和可扩展性,并行算法可能是不错的选择!

五、MapReduce

《算法图解》学习笔记(十一):十种经典的算法与数据结构_第16张图片
有一种 特殊的并行算法 正越来越流行,它就是 分布式算法。在并行算法只需两到四个内核时,完全可以在笔记本电脑上运行它,但如果需要数百个内核呢?

在这种情况下,可让算法在多台计算机上运行。MapReduce是一种流行的分布式算法,你可通过流行的开源工具Apache Hadoop来使用它。

1)分布式算法为何很有用

假设你有一个数据库表,包含数十亿乃至数万亿行,需要对其执行复杂的SQL查询。在这种情况下,你不能使用MySQL,因为数据表的行数超过数十亿后,它处理起来将很吃力。相反,你需要通过Hadoop来使用MapReduce!

又假设你需要处理一个很长的清单,其中包含100万个职位,而每个职位处理起来需要10秒。如果使用一台计算机来处理,将耗时数月!如果使用100台计算机来处理,可能几天就能完工。

分布式算法非常适合用于在短时间内完成海量工作,其中的MapReduce基于两个简单的理念:映射(map)函数归并(reduce)函数

2)映射函数

映射函数很简单,它接受一个数组,并对其中的每个元素执行同样的处理。例如,下面的映射函数将数组的每个元素翻倍。

>>> arr1 = [1, 2, 3, 4, 5]
>>> arr2 = map(lambda x: 2 * x, arr1)
[2, 4, 6, 8, 10]

《算法图解》学习笔记(十一):十种经典的算法与数据结构_第17张图片
arr2 包含 [2, 4, 6, 8, 10]:将数组 arr1 的每个元素都翻倍!将元素翻倍的速度非常快,但如果要执行的操作需要更长的时间呢?请看下面的伪代码。

>>> arr1 = # A list of URLs
>>> arr2 = map(download_page, arr1)

在这个示例中,你有一个URL清单,需要下载每个URL指向的页面并将这些内容存储在数组 arr2 中。对于每个URL,处理起来都可能需要几秒钟。如果总共有1000个URL,可能耗时几小时!

如果有100台计算机,而 map 能够自动将工作分配给这些计算机去完成就好了。这样就可同时下载100个页面,下载速度将快得多!这就是MapReduce中 映射 部分基于的理念。

3)归并函数

归并函数可能令人迷惑,其理念是将很多项归并为一项。

映射是将一个数组转换为另一个数组。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第18张图片
而归并是将一个数组转换为一个元素。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第19张图片
下面是一个示例。

>>> arr1 = [1, 2, 3, 4, 5]
>>> reduce(lambda x,y: x+y, arr1)
15

在这个示例中,你将数组中的所有元素相加:1 + 2 + 3 + 4 + 5 = 15!

MapReduce使用这两个简单概念在多台计算机上执行数据查询。数据集很大,包含数十亿行时,使用MapReduce只需几分钟就可获得查询结果,而传统数据库可能要耗费数小时。

六、布隆过滤器和HyperLogLog

假设你管理着网站 Reddit。每当有人发布链接时,你都要检查它以前是否发布过,因为之前未发布过的故事更有价值。又假设你在Google负责搜集网页,但只想搜集新出现的网页,因此需要判断网页是否搜集过。

在假设你管理着提供网址缩短服务的 bit.ly,要避免将用户重定向到恶意网站。你有一个清单,其中记录了恶意网站的URL。你需要确定要将用户重定向到的URL是否在这个清单中。这些都是同一种类型的问题,涉及庞大的集合。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第20张图片
给定一个元素,你需要判断它是否包含在这个集合中。为快速做出这种判断,可使用散列表。

例如,Google可能有一个庞大的散列表,其中的键是已搜集的网页。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第21张图片
要判断是否已搜集adit.io,可在这个散列表中查找它。
在这里插入图片描述
adit.io 是这个散列表中的一个键,这说明已搜集它。散列表的平均查找时间为O(1),即查找时间是固定的,非常好!(《算法图解》学习笔记(五):哈希表,小名散列表(附代码))

只是Google需要建立数万亿个网页的索引,因此这个散列表非常大,需要占用大量的存储空间。Redditbit.ly 也面临着这样的问题。面临海量数据,你需要创造性的解决方案!

1)布隆过滤器

《算法图解》学习笔记(十一):十种经典的算法与数据结构_第22张图片
布隆过滤器提供了解决之道。布隆过滤器是一种概率型数据结构,它提供的答案有可能不对,但很可能是正确的。为判断网页以前是否已搜集,可不使用哈希表,而使用布隆过滤器。使用哈希表时,答案绝对可靠,而使用布隆过滤器时,答案却是很可能是正确的。

  • 可能出现错报的情况,即Google可能指出“这个网站已搜集”,但实际上并没有搜集。
  • 不可能出现漏报的情况,即如果布隆过滤器说“这个网站未搜集”,就肯定未搜集。

布隆过滤器的优点在于占用的存储空间很少。使用哈希表时,必须存储Google搜集过的所有URL,但使用布隆过滤器时不用这样做。布隆过滤器非常适合用于不要求答案绝对准确的情况,前面所有的示例都是这样的。对 bit.ly 而言,这样说完全可行:“我们认为这个网站可能是恶意的,请倍加小心。”

2)HyperLogLog

《算法图解》学习笔记(十一):十种经典的算法与数据结构_第23张图片
HyperLogLog是一种类似于布隆过滤器的算法。如果Google要计算用户执行的不同搜索的数量,或者Amazon要计算当天用户浏览的不同商品的数量,要回答这些问题,需要耗用大量的空间!对Google来说,必须有一个日志,其中包含用户执行的不同搜索。有用户执行搜索时,Google必须判断该搜索是否包含在日志中:如果答案是否定的,就必须将其加入到日志中。即便只记录一天的搜索,这种日志也大得不得了!

HyperLogLog近似地计算集合中不同的元素数,与布隆过滤器一样,它不能给出准确的答案,但也八九不离十,而占用的内存空间却少得多。

面临海量数据且只要求答案八九不离十时,可考虑使用概率型算法!

七、SHA 算法

《算法图解》学习笔记(十一):十种经典的算法与数据结构_第24张图片
还记得第5章介绍的哈希算法吗?(《算法图解》学习笔记(五):哈希表,小名散列表(附代码))我们回顾一下,假设你有一个键,需要将其相关联的值放到数组中。
在这里插入图片描述
你使用哈希函数来确定,应将这个值放在数组的什么地方。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第25张图片
你将值放在这个地方。
在这里插入图片描述
这样查找时间是固定的。当你想要知道指定键对应的值时,可再次执行哈希函数,它将告诉你这个值存储在什么地方,需要的时间为O(1)。

在这个示例中,你希望哈希函数的结果是均匀分布的。哈希函数接受一个字符串,并返回一个索引号。

1)比较文件

另一种散列函数是 安全散列算法(secure hash algorithm,SHA) 函数。给定一个字符串,SHA返回其散列值。
在这里插入图片描述
这里的术语有点令人迷惑。SHA是一个哈希函数,它生成一个哈希值——一个较短的字符串。用于创建哈希表的哈希函数根据字符串生成数组索引,而SHA根据字符串生成另一个字符串。

对于每个不同的字符串,SHA生成的哈希值都不同。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第26张图片

SHA 生成的散列值很长,这里为了方面观看就截短了。

你可使用SHA来判断两个文件是否相同,这在比较超大型文件时很有用。

假设你有一个 4 GB的文件,并要检查朋友是否也有这个大型文件。为此,你不用通过电子邮件将这个大型文件发送给朋友,而可计算它们的SHA哈希值,再对结果进行比较。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第27张图片

2)检查密码

SHA还让你能在不知道原始字符串的情况下对其进行比较。例如,假设Gmail遭到攻击,攻击者窃取了所有的密码!你的密码暴露了吗?

没有,因为Google存储的并非密码,而是密码的SHA哈希值!你输入密码时,Google计算其哈希值,并将结果同其数据库中的哈希值进行比较。(散列就是哈希)
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第28张图片
Google只是比较哈希值,因此不必存储你的密码!SHA被广泛用于计算密码的哈希值。这种哈希算法是单向的。你可根据字符串计算出哈希值。
在这里插入图片描述
但你无法根据哈希值推断出原始字符串。
在这里插入图片描述
这意味着计算攻击者窃取了Gmail的SHA散列值,也无法据此推断出原始密码!你可将密码转换为哈希值,但反过来不行。

SHA实际上是一系列算法:SHA-0、SHA-1、SHA-2和SHA-3。当前,比较安全的密码哈希函数是bcrypt,但没有任何东西是万无一失的。

八、局部敏感的哈希算法

SHA还有一个重要特征,那就是局部不敏感的。假设你有一个字符串,并计算了其哈希值。
在这里插入图片描述
如果你修改其中的一个字符,再计算其哈希值,结果将截然不同!
在这里插入图片描述
这很好,让攻击者无法通过比较哈希值是否类似来破解密码。

有时候,你希望结果相反,即希望哈希函数是局部敏感的。在这种情况下,可使用Simhash。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第29张图片
如果你对字符串做细微的修改,Simhash生成的哈希值也只存在细微的差别。这让你能够通过比较哈希值来判断两个字符串的相似程度,这很有用!

  • Google使用Simhash来判断网页是否已搜集。
  • 老师可以使用Simhash来判断学生的论文是否是从网上抄的。
  • Scribd允许用户上传文档或图书,以便与人分享,但不希望用户上传有版权的内容!这个网站可使用Simhash来检查上传的内容是否与小说《哈利·波特》类似,如果类似,就自动拒绝。

需要检查两项内容的相似程度时,Simhash很有用。

九、Diffie-Hellman 密钥交换

《算法图解》学习笔记(十一):十种经典的算法与数据结构_第30张图片
这里有必要提一提Diffie-Hellman算法,它以优雅的方式解决了一个古老的问题:如何对消息进行加密,以便只有收件人才能看懂呢?

最简单的方式是设计一种加密算法,如将a转换为1,b转换为2,以此类推。这样,如果我给你发送消息“4,15,7”,你就可将其转换为“d,o,g”。但我们必须就加密算法达成一致,这种方式才可行。我们不能通过电子邮件来协商,因为可能有人拦截电子邮件,获悉加密算法,进而破译消息。即便通过会面来协商,这种加密算法也可能被猜出来——它并不复杂。因此,我们每天都得修改加密算法,但这样我们每天都得会面!

即便我们能够每天修改,像这样简单的加密算法也很容易使用蛮力攻击破解。假设我看到消息“9,6,13,13,16 24,16,19,13,5”,如果使用加密算法a = 1、b = 2等,转换结果将如下。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第31张图片
结果是一堆乱码。我们来尝试加密算法a = 2、b = 3等。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第32张图片
结果对了!像这样的简单加密算法很容易破解。在二战期间,德国人使用的加密算法比这复杂得多,但还是被破解了。

Diffie-Hellman算法解决了如下两个问题。

  • 双方无需知道加密算法。他们不必会面协商要使用的加密算法。
  • 要破解加密的消息比登天还难。

Diffie-Hellman使用两个密钥:公钥和私钥。顾名思义,公钥就是公开的,可将其发布到网站上,通过电子邮件发送给朋友,或使用其他任何方式来发布。你不必将它藏着掖着。有人要向你发送消息时,他使用公钥对其进行加密。加密后的消息只有使用私钥才能解密。只要只有你知道私钥,就只有你才能解密消息!

Diffie-Hellman算法及其替代者RSA依然被广泛使用。如果你对加密感兴趣,先着手研究Diffie-Hellman算法是不错的选择:它既优雅又不难理解。

十、线性规划

《算法图解》学习笔记(十一):十种经典的算法与数据结构_第33张图片
线性规划是最酷的算法之一。

线性规划用于在给定约束条件下最大限度地改善指定的指标。例如,假设你所在的公司生产两种产品:衬衫和手提袋。衬衫每件利润2美元,需要消耗1米布料和5粒扣子;手提袋每个利润3美元,需要消耗2米布料和2粒扣子。你有11米布料和20粒扣子,为最大限度地提高利润,该生产多少件衬衫、多少个手提袋呢?

在这个例子中,目标是利润最大化,而约束条件是拥有的原材料数量。

再举一个例子。你是个政客,要尽可能多地获得支持票。你经过研究发现,平均而言,对于每张支持票,在旧金山需要付出1小时的劳动(宣传、研究等)和2美元的开销,而在芝加哥需要付出1.5小时的劳动和1美元的开销。在旧金山和芝加哥,你至少需要分别获得500和300张支持票。你有50天的时间,总预算为1500美元。请问你最多可从这两个地方获得多少支持票?

这里的目标是支持票数最大化,而约束条件是时间和预算。

你可能在想,最优化与线性规划有何关系?所有的图算法都可使用线性规划来实现。线性规划是一个宽泛得多的框架,图问题只是其中的一个子集。但愿你听到这一点后心潮澎湃!

线性规划使用Simplex算法,这个算法很复杂。
《算法图解》学习笔记(十一):十种经典的算法与数据结构_第34张图片
如果你对最优化感兴趣,就研究研究线性规划吧!

十一、总结

本章简要地介绍了10个算法,唯愿这让你知道还有很多地方等待你去探索。

最佳的学习方式是找到感兴趣的主题,然后一头扎进去。到这里《算法图解》学习笔记就结束了,下一本书预计是著名的《problem solving with algorithms and data structure using python》中文版。

参考文章

  • 《算法图解》

你可能感兴趣的:(#,Python)