pandas Excel 一列数据去重，并将结果保存回 Excel 文件中

pandas Excel 一列数据去重，并将结果保存回 Excel 文件中

import pandas as pd

## excel 列去重
file ="D:\pythonXangmu\quchong\quchong.xlsx" 
f = open(file,"rb")
df = pd.read_excel(f,sheet_name='nameSheet')
print('去重前\n',df)
df2 = df.drop_duplicates(subset='name')#列名 subset='name'
print('去重后\n',df2)

df.to_excel('quchong.xlsx',index=False)
## 解决编辑sheetname 后，报找不到sheetname问题，
#编辑sheetname 后保存，重新打开，然后看下面代码打印出sheetname，看是否一致
# file ="D:\pythonXangmu\quchong\quchong.xlsx" 
# xl = pd.ExcelFile(file)
# sheet_names = xl.sheet_names
# print(sheet_names)

如果你想要去除多列中的重复项，你可以将这些列名放在一个列表中，并将该列表作为 subset 参数传递给 drop_duplicates() 函数。例如，如果你想要去除 “Name” 和 “Age” 列中的重复项，你可以使用以下代码：

df = df.drop_duplicates(subset=["Name", "Age"])

去重前
name age
0 张三 21
1 李四 21
2 张三 22
3 李四 20
4 李小龙 19
5 李云龙 18
6 龙小云 18
7 龙小云 17
去重后
name age
0 张三 21
1 李四 21
4 李小龙 19
5 李云龙 18
6 龙小云 18

Python中常见的几种去重

str1= "1233345"
print(str)
data = list(set(str1))
data1 = str(set(str1))
data2 = ''.join(set(str1))
print(data)#['2', '4', '5', '3', '1']
print('data1',data1)#data1 {'2', '4', '5', '3', '1'}
print('data2',data2)#data2 24531

data=[1,2,3,4,3,2,1]
unique_data=list(set(data))
print(unique_data)

#data3=[1,2,3,4,3,2,1]
data3='123455533'
data4 =[]
for i in data3:
    if i not in data4:
        data4.append(i)
print('data4',data4)
data5 = '*'.join(data4)
print('data5',data5)#data5 1*2*3*4*5

string = "aabbbcdeeffg"
unique_string = ''.join(dict.fromkeys(string).keys())
print(unique_string)  # 输出: abcfdeg