5天10分钟，学会数据清洗！（Python）

这是来自Kaggle的Data Cleaning Challenge For 5 Days!

Kaggle是国外著名的数据竞赛分析平台，对新手十分友好，这里主要记录我在这个小挑战中学到一些数据清洗方法。

kaggle链接：https://www.kaggle.com

第一天：缺失数据的处理（Missing Values）

• 查看缺失数据：

data.isnull().sum()

• 填充缺失数据：

# 用0填充
data.fillna(0)

# 直接使用相同标签下下一个数据填充
#再用 0 填充
data.fillna(method = 'bfill', axis=0).fillna(0)

• 删除缺失数据

data.dropna()

链接：
https://www.kaggle.com/rtatman/data-cleaning-challenge-handling-missing-values?utm_medium=email&utm_source=mailchimp&utm_campaign=5DDC-data-cleaning

第二天：数据缩放和归一化（Scale and Nomarlization Data）

• Scale:

# 导入 min_max scaling
from mlxtend.preprocessing import minmax_scaling

# 缩放数据使之处于0到1之间
scaled_data = minmax_scaling(original_data, columns = [0])

• Nomarlization

# 导入 Box-Cox Transformation
from scipy import stats

# 归一化数据
normalized_data = stats.boxcox(original_data)

链接：
https://www.kaggle.com/rtatman/data-cleaning-challenge-scale-and-normalize-data?utm_medium=email&utm_source=mailchimp&utm_campaign=5DDC-data-cleaning

第三天：日期时间的统一化（Parsing Dates）

• pd.to_datetime
  pandas 中有一个特别的时间类型datetime64, to_datetime就是将object类型转换为datetime64。

landslides['date_parsed'] = pd.to_datetime(landslides['date'], format = "%m/%d/%y")

image

earthquakes['date_parsed'] = pd.to_datetime(earthquakes['Date'],infer_datetime_format=True)

image

万能的infer_datetime_format=True，pandas自己推断日期类型，优点是可兼容多格式的日期处理，缺点是降低处理速度。

datetime64可以用来干什么？

例：

#获得每一月同一天的统计数据
day_of_month_landslides = landslides['date_parsed'].dt.day

• 自设格式的日期数据处理
  例如：

  
  
  image

for i in range(len(volcanos.index)):
    temp =  volcanos['Last Known Eruption'].values[i]
    if temp == 'Unknown':
        volcanos['Last Known Eruption'].values[i] = None
    elif "CE" in temp:
        volcanos['Last Known Eruption'].values[i] = "-" + temp[0:5]
    else:
         volcanos['Last Known Eruption'].values[i] = temp[0:5]

image

• 进阶：时间序列的绘制
  https://www.kaggle.com/residentmario/time-series-plotting-optional/notebook

附：关于%m,%d,%Y的那些事儿 http://strftime.org/

链接：
https://www.kaggle.com/rtatman/data-cleaning-challenge-parsing-dates/?utm_medium=email&utm_source=mailchimp&utm_campaign=5DDC-data-cleaning

第四天：字符编码（Character Encodings）

• encode（编码）：

#将str编码为bytes类，但在编码€时出现了错误
before = "This is the euro symbol: €"
after = before.encode("utf-8", errors = "replace")

这里utf-8也可以为ascii、gbk等。

• decode（解码）:

after.decode("utf-8")

注：
(1)编码方式要和解码方式保持一致，否则会出现 UnicodeDecodeError
(2)有时候，编码会导致数据丢失

• 出现其他编码时：

1）第一步：猜测字符编码

import chardet
#以二进制方式读取文件
with open("../input/kickstarter-projects/ks-projects-201801.csv", 'rb') as rawdata:
    result = chardet.detect(rawdata.read(10000))
print(result)
#当10k的编码结果不正确，可变化read()中的大小，如read(100000)

出现结果：{'encoding': 'Windows-1252', 'confidence': 0.73, 'language': '}
2）第二步：根据所得编码

kickstarter_2016 = pd.read_csv("../input/kickstarter-projects/ks-projects-201612.csv", encoding='Windows-1252')

• 编码保存至文件

#默认encoding = ‘utf-8’
kickstarter_2016.to_csv("ks-projects-201801-utf8.csv")

链接：
https://www.kaggle.com/rtatman/data-cleaning-challenge-character-encodings/?utm_medium=email&utm_source=mailchimp&utm_campaign=5DDC-data-cleaning

第五天：不一致的输入数据（Inconsistent Data Entry)

数据观察：

cities = suicide_attacks['City'].unique()            #选出City字段中不重复值
cities.sort()                                        #排序
cities

• 统一大小写
  例：全部小写

suicide_attacks['City'] = suicide_attacks['City'].str.lower()

• 去除字符串两边的空格

suicide_attacks['City'] = suicide_attacks['City'].str.strip()

• 模糊匹配：
  例如：d.i khan 和d. i khan

import fuzzywuzzy
from fuzzywuzzy import process

#与d.i khan相近的前10个字符串
matches = fuzzywuzzy.process.extract("d.i khan", cities, limit=10, scorer=fuzzywuzzy.fuzz.token_sort_ratio)

marches 的结果是一个包含十个元组的列表：[('d. i khan', 100), ('d.i khan', 100), ('d.g khan', 88)……]。所以需要重新去定义一个函数来处理它们。

def replace_matches_in_column(df, column, string_to_match, min_ratio = 90):
    # 获取不重复的值
    strings = df[column].unique()
    
    # 获取前10个相近的字符串
    matches = fuzzywuzzy.process.extract(string_to_match, strings, 
                                         limit=10, scorer=fuzzywuzzy.fuzz.token_sort_ratio)

    # 只有当相近匹配 > 90
    close_matches = [matches[0] for matches in matches if matches[1] >= min_ratio]

    # 获取dataframe中所有相近的rows
    rows_with_matches = df[column].isin(close_matches)

    # 替换这些rows 至目标值
    df.loc[rows_with_matches, column] = string_to_match
    
    # 提示过程结束
    print("All done!")

链接：
https://www.kaggle.com/rtatman/data-cleaning-challenge-inconsistent-data-entry/?utm_medium=email&utm_source=mailchimp&utm_campaign=5DDC-data-cleaning

致谢：

Rachael Tatman：https://www.kaggle.com/rtatman

也可以从这里学到SQL、R的知识呦！