海量数据处理

两个大文本文件求交集

  1. 通过hash函数将一个文件的所有数据映射到1000个文件中,这1000个文件记为a1,a2,a3…a1000。(hash(url) % 1000)
  2. 通过相同的hash函数将另一个文件的所有数据也映射到1000个文件中,这1000个文件记为b1,b2,b3…b1000。
  3. 由于使用的是相同的hash函数,所以两个文件中一样的数据会被分配到文件下标一致的文件中,接着分别对a1、b1求交集,a2、b2求交集,ai、bi求交集,最后将结果汇总,即为两个文件的交集。

你可能感兴趣的:(11,架构)