干净整洁的数据是后续进行研究和分析的基础。数据科学家们会花费大量的时间来清理数据集，毫不夸张地说，数据清洗会占据他们80%的工作时间，而真正用来分析数据的时间只占到20%左右。
所以，数据清洗到底是在清洗些什么？
通常来说，你所获取到的原始数据不能直接用来分析，因为它们会有各种各样的问题，如包含无效信息，列名不规范、格式不一致，存在重复值，缺失值，异常值等.....
本文会给大家介绍一些Python中自带的Pandas和NumPy库进行数据清洗的实用技巧。
一、 read_csv 读取文件
这是读取数据的入门级命令，在分析一个数据集的时候，很多信息其实是用不到的，因此，需要去除不必要的行或列。这里以csv文件为例，在导入的时候就可以通过设置pd.read_csv()里面的参数来实现这个目的。
先来感受一下官方文档中给出的详细解释，里面的参数是相当的多，本文只介绍比较常用的几个，感兴趣的话，可以好好研究一下文档，这些参数还是非常好用的，能省去很多导入后整理的工作。
【header】默认header=0，即将文件中的0行作为列名和数据的开头，但有时候0行的数据是无关的，我们想跳过0行，让1行作为数据的开头，可以通过将header设置为1来实现。
【usecols】根据列的位置或名字，如[0,1,2]或[‘a’, ‘b’, ‘c’]，选出特定的列。
【nrows】要导入的数据行数，在数据量很大、但只想导入其中一部分时使用。
【names】：指定自定义列名。 此列表中不允许有重复项。
【index_col】: 指定用作数据框的行标签的列，以字符串名称或列索引的形式给出
【na_values】：指定数据框中需要被识别为NA/NaN 的字符串或字符串列表
当一列缺失时直接指定 na_values='-1'
当多列缺失时，增加字典的键值对即可 na_values={'a':'-1','b':'-10'}
二、重新命名列
当原始数据的列名不好理解，或者不够简洁时，可以用.rename()方法进行修改。这里我们把英文的列名改成中文，先创建一个字典，把要修改的列名定义好，然后调用rename()方法。
new_names = {'旧列名': '新列名'}
df.rename(columns=new_names, inplace=True)
三、重新设置索引
数据默认的索引是从0开始的有序整数，但如果想把某一列设置为新的索引，除了可以用read_csv()里的参数index_col，还可以用.set_index()方法实现。
df.set_index('列名', inplace=True)
另外补充，如果数据经过删除或结构调整后，我们可以重置索引，让索引从0开始，依次排序。
df3.reset_index(drop=True)
四、用字符串操作规范列
字符串str操作是非常实用的，因为列中总是会包含不必要的字符，常用的方法如下：
lower()
upper()
str.lower() 是把大写转换成小写，同理，str.upper()是把小写转换成大写，将示例中用大写字母表示的索引转换成小写。
capitalize()
设置首字母大写
replace()
str.replace("a", "") 替换特定字符。这里把列中的a去掉，替换成空字符。
strip()
去除字符串中的头尾空格、以及\n \t。
split()
str.split('x') 使用字符串中的'x'字符作为分隔符，将字符串分隔成列表。这里将列中的值以'.'进行分割。
get()
str.get() 选取列表中某个位置的值。接着上面分割后的结果，我们用str.get(0)取出列表中前一个位置的数值，生成新的一列。
contains()
str.contains() 判断是否存在某个字符，返回的是布尔值。
find()
str.find("-")检测字符串中是否包含"-"，如果包含，则返回该子字符串开始位置的索引值;如果不包含，则返回-1。
学完基本的字符串操作方法，我们来看一下如何结合NumPy来提高字符串操作的效率。
我们可以将Pandas中的.str()方法与NumPy的np.where函数相结合，np.where函数是Excel的IF()宏的矢量化形式，它的语法如下:
np.where(condition, then, else)
如果condition条件为真，则执行then，否则执行else。这里的condition条件可以是一个类数组的对象，也可以是一个布尔表达式，我们也可以利用np.where函数嵌套多个条件进行矢量化计算和判断。
np.where(condition1, x1,
np.where(condition2, x2,
np.where(condition3, x3, ...)))
五、自定义函数规范列
接下来就要对列中的字符串进行整理，除了利用循环和.str()方法相结合的方式进行操作，我们还可以选择用applymap()方法，它会将传入的函数作用于整个DataFrame所有行列中的每个元素。
先定义函数get_citystate(item)，功能是只提取元素中的有效信息。然后，我们将这个函数传入applymap()，并应用于df3，看起来是不是干净多了，结果如下：
六、copy
如果你没听说过它的话，我不得强调它的重要性。输入下面的命令：
import pandas as pd
df1 = pd.DataFrame({ a :[0,0,0], b : [1,1,1]})
df2 = df1
df2[ a ] = df2[ a ] + 1
df1.head()
你会发现df1已经发生了改变。这是因为df2 = df1并不是生成一个df1的复制品并把它赋值给df2，而是设定一个指向df1的指针。所以只要是针对df2的改变，也会相应地作用在df1上。为了解决这个问题，你既可以这样做：
df2 = df1.copy()
也可以这样做：
from copy import deepcopy
df2 = deepcopy(df1)
七、value_counts()
这个命令用于检查值的分布。你想要检查下“c”列中出现的值以及每个值所出现的频率，可以使用：
df[ c ].value_counts()
下面是一些有用的小技巧/参数：
normalize = True:查看每个值出现的频率而不是频次数。
dropna = False: 把缺失值也保留在这次统计中。
sort = False: 将数据按照值来排序而不是按照出现次数排序。
df[‘c].value_counts().reset_index(): 将这个统计表转换成pandas的dataframe并且进行处理。
八、lsin () ，依据指定ID来选取行
lsin () 用于过滤数据帧。Isin () 有助于选择特定列中具有特定（或多个）值的行。
在SQL中我们可以使用 SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …)来获取含有指定ID的记录。如果你也想在Pandas中做类似的事情，你可以使用：
df_filter = df[ ID ].isin([ A001 , C022 ,...])
df[df_filter]
九、select_dtypes()
select_dtypes() 的作用是，基于 dtypes 的列返回数据帧列的一个子集。这个函数的参数可设置为包含所有拥有特定数据类型的列，亦或者设置为排除具有特定数据类型的列。
# We ll use the same dataframe that we used for read_csv
framex = df.select_dtypes(include="float64")# Returns only time column
十、pivot_table( )
pivot_table( ) 也是 Pandas 中一个非常有用的函数。如果对 pivot_table( ) 在 excel 中的使用有所了解，那么就非常容易上手了。
pivot_table(data, values=None, index=None, columns=None,aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_name='All')
pivot_table有四个最重要的参数index、values、columns、aggfunc
- Index就是层次字段，要通过透视表获取什么信息就按照相应的顺序设置字段
- Values可以对需要的计算数据进行筛选
- Columns类似Index可以设置列层次字段，它不是一个必要参数，作为一种分割数据的可选方式
- aggfunc参数可以设置我们对数据聚合时进行的函数操作
# Create a sample dataframe
school = pd.DataFrame({ "A" : [ "Jay" , "Usher" , "Nicky" , " Romero" , "Will" ],
"B" : [ "Masters" , "Graduate", "Graduate" , ''Masters" , "Graduate" ],
"C" : [26, 22, 20, 23, 24]})# Lets create a pivot table to segregate students based on age and course
table = pd.pivot_table(school, values = "A" , index =[ "B" , "C" ],
columns =[ "B" ], aggfunc = np.sum, fill_value="Not Available")
table
十一、计算变量缺失率
df=pd.read_csv('train.csv')
def missing_cal(df):
"""
df :数据集
return：每个变量的缺失率
"""
missing_series = df.isnull().sum()/df.shape[0]
missing_df = pd.DataFrame(missing_series).reset_index()
missing_df = missing_df.rename(columns={'index':'col',
0:'missing_pct'})
missing_df = missing_df.sort_values('missing_pct',ascending=False).reset_index(drop=True)
return missing_df
missing_cal(df)
如果需要计算样本的缺失率分布，只要加上参数axis=1
十二、获取分组里最大值所在的行方法
分为分组中有重复值和无重复值两种。无重复值的情况。
df = pd.DataFrame({'Sp':['a','b','c','d','e','f'], 'Mt':['s1', 's1', 's2','s2','s2','s3'], 'Value':[1,2,3,4,5,6], 'Count':[3,2,5,10,10,6]})
df
df.iloc[df.groupby(['Mt']).apply(lambda x: x['Count'].idxmax())]
先按Mt列进行分组，然后对分组之后的数据框使用idxmax函数取出Count最大值所在的列，再用iloc位置索引将行取出。有重复值的情况
df["rank"] = df.groupby("ID")["score"].rank(method="min", ascending=False).astype(np.int64)
df[df["rank"] == 1][["ID", "class"]]
对ID进行分组之后再对分数应用rank函数，分数相同的情况会赋予相同的排名，然后取出排名为1的数据。
十三、多列合并为一行
df = pd.DataFrame({'id_part':['a','b','c','d'], 'pred':[0.1,0.2,0.3,0.4], 'pred_class':['women','man','cat','dog'], 'v_id':['d1','d2','d3','d1']})
df.groupby(['v_id']).agg({'pred_class': [', '.join],'pred': lambda x: list(x),
'id_part': 'first'}).reset_index()
十四、组内排序
df = pd.DataFrame([['A',1],['A',3],['A',2],['B',5],['B',9]], columns = ['name','score'])
介绍两种高效地组内排序的方法。
df.sort_values(['name','score'], ascending = [True,False])
df.groupby('name').apply(lambda x: x.sort_values('score', ascending=False)).reset_index(drop=True)
十五、选择特定类型的列
drinks = pd.read_csv('data/drinks.csv')
# 选择所有数值型的列
drinks.select_dtypes(include=['number']).head()
# 选择所有字符型的列
drinks.select_dtypes(include=['object']).head()
drinks.select_dtypes(include=['number','object','category','datetime']).head()
# 用 exclude 关键字排除指定的数据类型
drinks.select_dtypes(exclude=['number']).head()
十六、字符串转换为数值
df = pd.DataFrame({'列1':['1.1','2.2','3.3'],
'列2':['4.4','5.5','6.6'],
'列3':['7.7','8.8','-']})
df
df.astype({'列1':'float','列2':'float'}).dtypes
用这种方式转换第三列会出错，因为这列里包含一个代表 0 的下划线，pandas 无法自动判断这个下划线。为了解决这个问题，可以使用 to_numeric() 函数来处理第三列，让 pandas 把任意无效输入转为 NaN。
df = df.apply(pd.to_numeric, errors='coerce').fillna(0)
十七、优化 DataFrame 对内存的占用
方法一：只读取切实所需的列，使用usecols参数
cols = ['beer_servings','continent']
small_drinks = pd.read_csv('data/drinks.csv', usecols=cols)
方法二：把包含类别型数据的 object 列转换为 Category 数据类型，通过指定 dtype 参数实现。
dtypes ={'continent':'category'}
smaller_drinks = pd.read_csv('data/drinks.csv',usecols=cols, dtype=dtypes)
十八、把字符串分割为多列
df = pd.DataFrame({'姓名':['张 三','李 四','王 五'],
'所在地':['北京-东城区','上海-黄浦区','广州-白云区']})
df
df.姓名.str.split(' ', expand=True)
11.把 Series 里的列表转换为 DataFrame
df = pd.DataFrame({'列1':['a','b','c'],'列2':[[10,20], [20,30], [30,40]]})
df
df_new = df.列2.apply(pd.Series)
pd.concat([df,df_new], axis='columns')
希望本文的内容对大家的学习或者工作能带来一定的帮助，每天进步一点点，加油~