单机大数据查重

假设有一个T的文件，按照行存储，其中有且只有两行完全一致，给你一台内存只有128M的电脑，如何能在所有数据中找出两行重复行呢？
首先，我们要确定有方法可以解决这个问题，只要提取每一行，进行逐行比对，假设有n行，最多需要比对[n*(n-1)]/2次，也就是说要将数据IO读取[n*(n-1)]/2次，如此肯定可以找出正确的两行，但是所要消耗的时间成本过高，接下来我们就要将这个方法进行优化。
如果想要节约时间成本，不能改变硬件，不改变现有约束，最直接的方法就是避免IO，所以就要像办法减少IO读取次数；
首先将文件进行一次遍历，提取每一行的hashcode值，将hashcode值%2000（这个值可以根据个人需要改成其他值）所得到的值作为文件名称创建一个新的文件，将对应的行存到新的文件中，如此这般，第一次遍历过后，我们将得到最多2000个小文件；
然后对这些小文件分别进行读取，进行遍历，在小文件中比对每一行是否完全相同，这样我们进行了两次IO读取，便可以找出重复行，将大大节约时间成本。