大文件去重问题

情景：当一个文件非常大，而内存无法一次性处理时，怎么对它进行有效的去重操作

打开大文件，每次只读一行；

对读入的行字符串hash(string) = F(string) mod x, x要保证mod完之后不冲突，将此字符串写入对应号码的文件中；

....

处理完之后，我们对大小超出一行的文件进行去重；

最后再读取逐个文件，写入到外存中的一个大文件中。

或者，我们可以对每个小文件只读取其第一行（后面的行都是经过计算后重复的），写入结果文件中。

这样就避免了使用map时内存无法存储海量的数据的问题。

转载于:https://www.cnblogs.com/yocichen/p/10560562.html