Pandas：移除重复数据

import pandas as pd
import numpy as np
from pandas import Series,DataFrame

一、unique：只能应该与Series

s = Series(['a','b','a','c','b'])
s.unique()

array(['a', 'b', 'c'], dtype=object)

二、drop_duplicates

1.Series

s.drop_duplicates()

0    a
1    b
3    c
dtype: object

2.DataFrame

df = DataFrame({'水果':['苹果','草莓','苹果'],
               '价格':[3,9,3],
               '数量':[5,6,5]})

print(df.drop_duplicates())

   价格  数量  水果
0   3   5  苹果
1   9   6  草莓

按指定列去重复

print(df.drop_duplicates('水果'))

   价格  数量  水果
0   3   5  苹果
1   9   6  草莓

三、duplicated：判断行是否重复

df.duplicated()

0    False
1    False
2     True
dtype: bool