哈希算法:你会如何存储重要数据
什么是哈希算法
将任意长度的二进制值映射为固定长度的二进制串,这个映射的规则就是哈希算法,而通过原始数据映射之后得到的二进制值串就是哈希值.
hash算法要求:
- 从哈希值不能反向推导出原始数据 (映射是单向的)
- 输入数据通过算法得到HASH值
- 散列冲突的概率要小
- 哈希算法执行效率尽量高效
HASH算法的应用
-
安全加密
-
唯一标识
-
数据校验
-
散列函数
-
负载均衡
-
数据分片
-
分布式存储
应用一: 安全加密
加密算法 MD5 (MD5消息摘要算法) 和 SHA(安全散列算法) DES(数据加密标准) AES(高级加密标准)
加密的目的就是防止原始数据泄漏,所以很难通过哈希值反向推导原始数据
越复杂,越安全,相应的计算时间也就越长.
应用二:唯一标识
如果在海量的图库中,搜索一张图是否存在
我们给每一个图片取一个唯一标识,或者说信息摘要,从图片中取部分字节,通过哈希,用它作为唯一标识.
应用三:数据校检
网络下载数据时,将一个大文件分成多个文件,分别对各文件进行hash计算,接受后进行对比.
应用四:负载均衡
负载均衡算法有很多,比如轮询,随机,加权轮询等,如何实现会话沾滞的负载均衡算法?
我们需要在一个客户端上,在一次绘画中所有请求都路由在一个服务器上.
这样表的内容是客户端IP地址或者绘话ID与服务器编号的映射关系.客户端发出的每次请求,都要先在映射表中查找应该路由到服务器编号,然后在请求编号对应的服务器.
如果客户端很多,映射表可能会很大,比较浪费内存空间
通过哈希算法,对客户端IP地址或者绘画ID计算哈希值,将取得的哈希值域服务器列表的大小进行去摸运算,最终得到的值就是应该被路由到的服务器编号.
应用六:数据分片
- 如何统计"搜索关键词"出现的次数
我们有1T的日志文件,记录了用户搜索关键字,我们想要快速统计出每个关键词被搜索的次数?
难点: 第一个搜索日志很大,没法放到一台及其的内存中
第二个难点是,如果只用一台机器来处理这么巨大的数据,处理时间会很长
- 如何统计"搜索关键词"出现的次数
- 针对两个难点:我们对数据切片,采用多台机器处理的方法,来提高处理速度. 为了提高处理的速度，我们用 n 台机器并行处理。我们从搜索记录的日志文件中，依次读出每个搜索关键词，并且通过哈希函数计算哈希值，然后再跟 n 取模，最终得到的值，就是应该被分配到的机器编号。
这样，哈希值相同的搜索关键词就被分配到了同一个机器上。也就是说，同一个搜索关键词会被分配到同一个机器上。每个机器会分别计算关键词出现的次数，最后合并起来就是最终的结果。
2.如何快速判断图片是否在图库中
假设现在我们的图库中有 1 亿张图片，很显然，在单台机器上构建散列表是行不通的。因为单台机器的内存有限，而 1 亿张图片构建散列表显然远远超过了单台机器的内存上限
我们同样可以对数据进行分片，然后采用多机处理。我们准备 n 台机器，让每台机器只维护某一部分图片对应的散列表。我们每次从图库中读取一个图片，计算唯一标识，然后与机器个数 n 求余取模，得到的值就对应要分配的机器编号，然后将这个图片的唯一标识和图片路径发往对应的机器构建散列表。当我们要判断一个图片是否在图库中的时候，我们通过同样的哈希算法，计算这个图片的唯一标识，然后与机器个数 n 求余取模。假设得到的值是 k，那就去编号 k 的机器构建的散列表中查找。
应用七:分布式存储
现在互联网那面对的都是海量的数据,和用户,为了提高数据的读取,写入能力,一般都采用分布式的方法存储数据,
比如分布式缓存,所以一个缓存机器不够,我们就需要将数据分布在多台机器,
所有的数据都要重新计算哈希值,然后搬移到正确上,这样就想相当于,缓存中的数据一下子就都失效了.
一致性哈希
假设我们有k个机器,数据的哈希值的范围是[0,MAX],我们将整个范围划分成m个小区间(m远大于k)
每个机器负责m/k个小区间.当有新机器加入的时候,我们就将某几个小区的数据,从原来的机器中搬移到新的机器中.
这样,即不用全部重新哈希,搬移数据.