【数据分析】Python ：知乎数据清洗整理和结论研究

【博客地址】：https://blog.csdn.net/sunyaowu315
【博客大纲地址】：https://blog.csdn.net/sunyaowu315/article/details/82905347
需要数据分析、风控评分卡等相关数据、代码，请添加qq群：102755159，或留言联系笔者邮件发送！！！
如果对金融风控、机器学习、数据科学、大数据分析等感兴趣的小伙伴，可加微信交流（邮件中备注，我会附上微信号）
。

知乎数据清洗整理和结论研究

1、数据清洗 - 去除空值

• 要求：创建函数
• 提示：fillna方法填充缺失数据，注意inplace参数

2、问题1 知友全国地域分布情况，分析出TOP20

• 要求：
  ① 按照地域统计 知友数量、知友密度（知友数量/城市常住人口），不要求创建函数
  ② 知友数量，知友密度，标准化处理，取值0-100，要求创建函数
  ③ 通过多系列柱状图，做图表可视化
• 提示：
  ① 标准化计算方法 = (X - Xmin) / (Xmax - Xmin)
  ② 可自行设置图表风格

3、问题2 知友全国地域分布情况，分析出TOP20

• 要求：
  ① 按照学校（教育经历字段） 统计粉丝数（‘关注者’）、关注人数（‘关注’），并筛选出粉丝数TOP20的学校，不要求创建函数
  ② 通过散点图 → 横坐标为关注人数，纵坐标为粉丝数，做图表可视化
  ③ 散点图中，标记出平均关注人数（x参考线），平均粉丝数（y参考线）
• 提示：
  ① 可自行设置图表风格

一 导入python包

import pandas as pd
import numpy as np 
import matplotlib.pyplot as plt
% matplotlib inline

二 数据读取

data1 = pd.read_csv('C:/Users/Hjx/Desktop/知乎数据_201701.csv', engine = 'python')
data2 = pd.read_csv('C:/Users/Hjx/Desktop/六普常住人口数.csv', engine = 'python')
print(data1.head())
print(data2.head())

三 数据清洗

去除空值
文本型字段空值改为“缺失数据”，数字型字段空值改为 0

• 要求：创建函数
• 提示：fillna方法填充缺失数据，注意inplace参数

	def data_cleaning(df):
	    cols = df.columns
	    for col in cols:
	        if df[col].dtype ==  'object':
	            df[col].fillna('缺失数据', inplace = True)
	        else:
	            df[col].fillna(0, inplace = True)
	    return(df)

该函数可以将任意数据内空值替换

data1_c = data_cleaning(data1)
data1_c.head(10)

四 统计分析

• 问题1 知友全国地域分布情况，分析出TOP20
  • 要求：
    ① 按照地域统计 知友数量、知友密度（知友数量/城市常住人口），不要求创建函数
    ② 知友数量，知友密度，标准化处理，取值0-100，要求创建函数
    ③ 通过多系列柱状图，做图表可视化
  • 提示：
    ① 标准化计算方法 = (X - Xmin) / (Xmax - Xmin)
    ② 可自行设置图表风格

df_city = data1_c.groupby('居住地').count()  # 按照居住地统计知友数量
data2['city'] = data2['地区'].str[:-1]   # 城市信息清洗，去掉城市等级文字
#print(df_city.head())  
#print(data2.head())  
q1data = pd.merge(df_city, data2, left_index = True, right_on = 'city', how = 'inner')[['_id','city','常住人口']]
q1data['知友密度'] = q1data['_id']/q1data['常住人口'] 
#print(q1data.head())

• 统计计算知友数量，知友密度

def data_nor(df, *cols):
    colnames = []
    for col in cols:
        colname = col + '_nor'
        df[colname] = (df[col]-df[col].min())/(df[col].max()-df[col].min()) * 100
        colnames.append(colname)
    return(df,colnames)

• 创建函数，结果返回标准化取值，新列列名

result_data = data_nor(q1data,'_id','知友密度')[0]
result_colnames = data_nor(q1data,'_id','知友密度')[1]
q1data_top20_sl = resultdata.sort_values(resultcolnames[0], ascending=False)[['city',resultcolnames[0]]].iloc[:20]
q1data_top20_md = resultdata.sort_values(resultcolnames[1], ascending=False)[['city',resultcolnames[1]]].iloc[:20]
#print(q1data_top20_sl)

• 标准化取值后得到知友数量，知友密度的TOP20数据

fig1 = plt.figure(num=1,figsize=(12,4))
y1 = q1data_top20_sl[resultcolnames[0]]
plt.bar(range(20),
        y1,
        width = 0.8,
        facecolor = 'yellowgreen',
        edgecolor = 'k',
        tick_label = q1data_top20_sl['city'])
plt.title('知友数量TOP20\n')
plt.grid(True, linestyle = "--",color = "gray", linewidth = "0.5", axis = 'y')  
for i,j in zip(range(20),y1):
    plt.text(i+0.1,2,'%.1f' % j, color = 'k',fontsize = 9)

fig2 = plt.figure(num=2,figsize=(12,4))
y2 = q1data_top20_sl[resultcolnames[0]]
plt.bar(range(20),
        y2,
        width = 0.8,
        facecolor = 'lightskyblue',
        edgecolor = 'k',
        tick_label = q1data_top20_md['city'])
plt.grid(True, linestyle = "--",color = "gray", linewidth = "0.5", axis = 'y')  
plt.title('知友密度TOP20\n')
for i,j in zip(range(20),y2):
    plt.text(i+0.1,2,'%.1f' % j, color = 'k',fontsize = 9)

• 创建图表
  
  
• 问题2 不同高校知友关注和被关注情况
  • 要求：
    ① 按照学校（教育经历字段） 统计粉丝数（‘关注者’）、关注人数（‘关注’），并筛选出粉丝数TOP20的学校，不要求创建函数
    ② 通过散点图 → 横坐标为关注人数，纵坐标为粉丝数，做图表可视化
    ③ 散点图中，标记出平均关注人数（x参考线），平均粉丝数（y参考线）
  • 提示：
    ① 可自行设置图表风格

q2data = data1_c.groupby('教育经历').sum()[['关注','关注者']].drop(['缺失数据','大学','本科'])
q2data_c = q2data.sort_values('关注',ascending=False)[:20]
#print(q2data_c)

• 统计计算学校的粉丝数、被关注量

plt.figure(figsize=(10,6))
x = q2data_c['关注']
y = q2data_c['关注者']
follow_mean = q2data_c['关注'].mean()
fans_mean = q2data_c['关注者'].mean()
plt.scatter(x,y,marker='.',
           s = y/1000,
           cmap = 'Blues',
           c = y,
           alpha = 0.8,
           label = '学校')

• 创建 散点图

plt.axvline(follow_mean,hold=None,label="平均关注人数：%i人" % follow_mean,color='r',linestyle="--",alpha=0.8)  

• 添加x轴参考线

plt.axhline(fans_mean,hold=None,label="平均粉丝数：%i人" % fans_mean,color='g',linestyle="--",alpha=0.8)   

• 添加y轴参考线

plt.legend(loc = 'upper left')
plt.grid()

• 添加显示内容

for i,j,n in zip(x,y,q2data_c.index):
    plt.text(i+500,j,n, color = 'k')

• 添加注释