[转帖]如何快速找出Linux中的重复文件

如何快速找出Linux中的重复文件

https://www.tuicool.com/articles/7vyEZbF

 

时间 2014-09-14 18:23:22  Winclient

原文   http://winclient.cn/linux/600.html

主题  Linux命令

现在大家的磁盘都越来越大啦，动不动就是TB级的，想来也不太担心一些重复文件对磁盘空间的占用了。如果你跟我一样是个精（相）益（当）求（纠）精（结）的人，当然还是希望快速抓出Linux系统中的重复文件以消心头之恨。其实，我们不需要用到什么所谓的专业重复文件检测器，Linux自带的命令行就是最为强大的利器，下面就向大家介绍两种快速找出Linux中重复文件的方法。

方法一：使用Find命令

本部分算是对find强大功能的扩展使用方法说明，如果你不熟悉find命令的常规使用方法可以移步 如何在Linux中使用Find命令查找文件 先了解一下。在find的基础上，我们可与（如xargs命令）等其它基本Linux命令相结合，即能创造出无限的命令行功能，比如：可以快速查找出Linux某个文件夹及其子文件夹中的重复文件列表。要实现这个功能在流程上是比较简单的，只要查找遍历出所有文件，再通过命令去比较每个文件的MD5就OK啦。

听起来好像比较抽象，其实命令就一条：

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate

• find -not -empty -type f -printf “%s\n” 表示使用find命令搜索出所有非空文件，再打印出他们的大小
• sort -rn 命令不用多说了把，这条命令就是按文件大小进行反向排序
• uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 表示只打印了重复的行，这里使用代表打印出文件名相同的文件
• uniq -w32 –all-repeated=separate 最后这里表示对MD5的前32个字节进行对比，以筛选出重复文件

使用命令行的整个过程就是这么简单和容易。

方法二：使用dupeGuru工具

DupeGuru是一个跨平台应用，有Linux、Windows和Mac OS X版本，它可以通过文件大小、MD5和文件名等多种标准来帮助用户找出Linux中的重复文件。Ubuntu用户可以直接通过添加如下PPA源来方式来进行安装：

sudo add-apt-repository ppa:hsoft/ppa
sudo apt-get update
sudo apt-get install dupeguru*