Python编程 读取多个JSON实现数据去重

现在假设有一些JSON文件,但是这些JSON中存在着某些key相同的重复数据,需要进行去重.

import json
# 这里读取7个json文件,并全部读取到data中
data = []
for i in range(1, 8):
    str = open("e:/{}.json".format(i), encoding="utf-8").read()
    data.extend(json.loads(str))
# 这里的key是MD5码,类似于数据库的id有unique约束
remove = []
for i, d1 in enumerate(data):
    for j, d2 in enumerate(data):
        if d1.get('MD5') == d2.get('MD5') and i < j:
            remove.append(i) #存入重复的下标
# 进行去重,方式是新建一个unique列表,存入排除重复下标的数据
unique = []
for i in range(len(data)):
    if i not in remove:
        unique.append(data[i])

测试结果

print(len(data), len(remove), len(unique))
1327 18 1309