如何对多个大文件进行排序去重

转载  原文地址：http://zhaoyanblog.com/archives/776.html

单个文件，对其内容进行排序，使用sort命令：

sort a.txt

去重加-u选项

sort -u a.txt

输出到一个文件

sort -o a.txt_sort -u a.txt

如果是100个1G大小的文件呢？如何进行排序去重呢？使用sort命令也是可以实现的。

第一步：先对单个文件进行排序去重

sort -o a1.txt -u a1.txt

sort -o a2.txt -u a2.txt

sort -o a3.txt -u a3.txt

sort -o a4.txt -u a4.txt

。。。。

sort -o a100.txt -u a100.txt

第二步：使用sort的合并排序

sort -o a.txt -u -m a*.txt

-m选项 表示merge已经有序的文件，如果文件事先没有排好序，这个可能会出错。

在执行merge的时候，你可能会遇到空间不足，无法写/tmp/sortXXXX的错误。

因为是多个大文件的合并操作，内存不够用，肯定是要写临时文件的。默认sort是写到/tmp目录下。

还好sort命令想的周到，你可以通过-T 选项指定一个较大空间的磁盘目录作为sort的临时文件目录。

sort -o a.txt -T /disk/temp -u -m a*.txt

最后等结果吧。