比较两个大文本文件的差异并输出增量和减量

现有两个4G大小、按行分割、每行为50字符(大小写字母)的text文件A, B, 现在需要在有限的内存下(如2G)以B文件为基准，计算出B相对于A增加了哪些数据和减少了哪些数据，分别以added.txt和deleted.txt命名保存。要求不能使用Spark或Hadoop这样的大数据处理框架。

思路：
首先使用外排序算法对A, B分别按字典序排序，输出a.sorted和b.sorted两个文件，然后再遵循以下步骤逐行对比即可：

• 先分别读取lineA和lineB
• 如果B比A大，则把lineA输出至deleted.txt中, 然后更新lineA至下一行
• 如果B比A小，则将lineB输出至added.txt中，然后更新lineB至下一行
• 如果B与A相等，则将lineA和lineB分别更新至下一行
• 如果A已经EOF, 则将B中剩下所有的行都输出至added.txt中
• 如果B已经EOF, 则将A中剩下所有的行都输出至deleted.txt中

至于外排序，如果用的是 Java 的话就很方便了，可以直接使用第三方库

        
            com.google.code.externalsortinginjava
            externalsortinginjava
            0.2.5
        

实现。