-- 系列：日常办公技巧
-- 作者：alex tang
-- 时间：01/21-2019
一、业务背景
1.1背景简介
几年的咨询工作不仅让我变得更有经验，更养成了我松鼠党的习惯。堆积的资料越来越多，而且重复的文件被放在了不同的目录，占用的空间越来越大，数量也多得已经不太适合人工分辨整理。尤其是有的一模一样的文件被改成不一样的名字，但实质相同。这种坏现象不仅是电脑，连云盘也是如此。
前两天整理自己的网盘时发现空间已满，想要使用使用其文件去重功能居然要开通会员，最低一档需付费30大洋。作为科技宅遂决定不让自己的python吃灰了，自己写着玩玩。
本文会和大家分享如何实现文件去重，如何扫描自己硬盘和网盘的每一个目录。
1.2知识点预告
本文完成过程中将使用：
- MD5原理
- 遍历文件夹
- pathlib模块的使用
- logging模块的使用
1.3使用环境
python=3.6.7
pathlib=2.3.2
二、实现原理
在开始之前，我先解释一下这些代码运行的原理——基于文件的完整性（ integrity）。如果两个文件的内容相同，不管它们文件名相同与否，它们的MD5值（或者其他哈希算法值）必定是相同的。在这篇文章里，我使用MD5值来判断文件的完整性。
三、开发准备
linux打开终端，windows使用win+r打开cmd命令行。进入code目录，创建work文件夹，将其作为工作目录。
! cd C:\test\Code&&mkdir work&&cd work
子目录或文件 work 已经存在。
为了实验，我在该文件夹下面放了一个文件，并复制了一下。这样两个文件的名字就不相同了。
安装所需模块
! pip install hashlib
! pip install logging
! pip install pathlib
四、开发步骤
4.1导入所需package
import os
import hashlib
import logging
import sys
from pathlib import Path
4.2编写日志函数
指定logger输出格式，明确日志文件名称和存储位置，制定日志的最低输出级别。
def logger():
""" 获取logger"""
logger = logging.getLogger()
if not logger.handlers:
# 指定logger输出格式
formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s')
# 文件日志
file_handler = logging.FileHandler("test.log")
file_handler.setFormatter(formatter) # 可以通过setFormatter指定输出格式
# 控制台日志
console_handler = logging.StreamHandler(sys.stdout)
console_handler.formatter = formatter # 也可以直接给formatter赋值
# 为logger添加的日志处理器
logger.addHandler(file_handler)
logger.addHandler(console_handler)
# 指定日志的最低输出级别，默认为WARN级别
logger.setLevel(logging.INFO)
return logger
4.3获得文件的唯一标识 - MD5值
假如你要处理的重复文件有不同的文件名，最简单的办法就是通过MD5来确定两个文件是不是一样的。
def md5sum(filename, blocksize=65536):
hash = hashlib.md5()
with open(filename, "rb") as f:
for block in iter(lambda: f.read(blocksize), b""):
hash.update(block)
return hash.hexdigest()
这个方法可以快速获得一个文件的MD5值，blocksize 可以根据文件大小和CPU性能调整，一般选择的值约等于文件的平均大小。
4.4保存所有文件标识和路径
接下来遍历所有文件，使用MD5作为key，路径作为value，保存起来。
dup = {}
def build_hash_dict(dir_path, pattern='*.xlsx'):
def save(file):
hash = md5sum(file)
if hash not in dup.keys():
dup[hash] = [file]
else:
dup[hash].append(file)
p = Path(dir_path)
for item in p.glob('**/' + pattern):
save(str(item))
4.5处理重复文件
最后一步非常简单，把上一步建立的字典做一个简单的过滤就能找到重复文件。
def main():
log = logger()
def get_duplicate():
return {k: v for k, v in dup.items() if len(v) > 1}
build_hash_dict(work_path)
for hash, files in get_duplicate().items():
log.info("{}: {}".format(hash, files))
如果你想直接删除冗余文件，而不是自己来判断从哪个文件里面删除，可在记录日志后遍历日志文件列表，删除指定文件之外的其他文件内容。
#import os
#[os.remove(file) for file in files[1:]]
4.6某度网盘查重
原理是一样的，某度网盘在Windows上安装后会生成本地数据库，经测试是sqlite的，简直和python不要太友好。我们直接访问Windows下的百度网盘数据库，通过判断文件的MD5码就可以进行去重。就不上代码了，如果大家需要可以留言联系我索取。
执行过程中不需要登录你的百度网盘账号，你也就不用怕账号被盗了吧。
4.7执行函数代码
if __name__ == '__main__':
dup = {}
work_path = 'C:\\test\\Code\\work'
main()
2019-01-20 19:37:43,267 INFO : bea3107f0ef871594bedcd992265ade4: ['C:\\test\\Code\\work\\abtForCustomValue-2 - 副本 - 副本.xlsx', 'C:\\test\\Code\\work\\abtForCustomValue-2 - 副本.xlsx']
五、代码获取
如果您想获得完整代码或者封装好的exe程序，可以给我留言。如果你有建议或者想法，也欢迎留言与我沟通。