爱奇艺电影数据分享

Python 案例分享，简单的分析爱奇艺电影数据

1. 数据清洗函数构建

def data_cleaning(df):
    cols = df.columns
    for col in cols:
        if df[col].dtype ==  'object':
            df[col].fillna('缺失数据', inplace = True)
        else:
            df[col].fillna(0, inplace = True)
    return(df) 
    data_c1 = data_cleaning(data)
print(data_c1.head(10))

2. 将时间标签的汉字转化为日期标签

def data_time(df,*cols):
    for col in cols:
        df[col] = df[col].str.replace('年','.')
        df[col] = df[col].str.replace('月','.')
        df[col] = df[col].str.replace('日','')
        df[col] = pd.to_datetime(df[col])
    return(df)
 data_c2 = data_time(data_c1,'数据获取日期')
print(data_c2.head(10))

3. 正常显示mac中文

plt.rcParams['font.family'] = ['Arial Unicode MS'] # 正常显示中文
plt.rcParams['axes.unicode_minus'] = False # 正常显示符号

问题1 分析出不同导演电影的好评率，并筛选出TOP20

要求：
① 计算统计出不同导演的好评率，不要求创建函数
② 通过多系列柱状图，做图表可视化
提示：
① 好评率 = 好评数 / 评分人数

df_q1 = data_c2.groupby('导演')[['好评数','评分人数']].sum()  # 根据导演进行分组，统计出好评数和评分人数总和df_q1这一个dataframe
df_q1['好评率'] = df_q1['好评数'] / df_q1['评分人数']  # 构造好评数这一列
result_q1 = df_q1.sort_values(['好评率'], ascending=False)[:20] # 按照好评率进行降序排序，统计出前20的好评率的导演
# 计算统计不同导演的好评率

result_q1['好评率'].plot(kind='bar',
       color = 'k',
       width = 0.8,
       alpha = 0.4,
       rot = 45,
       grid = True,
       ylim = [0.98,1],
       figsize = (12,4),
       title = '不同导演电影的好评率') # 画出柱状图

问题2 统计分析2001-2016年每年评影人数总量

要求： 计算统计出2001-2016年每年评影人数总量

② 通过面积图，做图表可视化，分析每年人数总量变化规律
③ 验证是否有异常值（极度异常）
④ 创建函数分析出数据外限最大最小值）
⑤ 筛选查看异常值 → 是否异常值就是每年的热门电影？
① 通过箱型图验证异常值情况
② 通过quantile(q=0.5)方法，得到四分位数
③ IQR=Q3-Q1
④ 外限：最大值区间Q3+3IQR,最小值区间Q1-3IQR （IQR=Q3-Q1）

q2data1 = data_c2[['导演','上映年份','整理后剧名']].drop_duplicates()  # 为了方知有重复值，首先删除重复值
q2data1 = q2data1[q2data1['上映年份'] != 0] # 筛选出不同年份的数据，去除上映年份字段缺失的数据
q2data2 = data_c2.groupby('整理后剧名').sum()[['评分人数','好评数']]  # 按照整理后的剧名统计分析好评人数和好评数
#print(q2data2)
q2data3 = pd.merge(q2data1,q2data2,left_on='整理后剧名',right_index=True) # 合并数据，得到不同的年份，不同剧的评分人数，好评数总和
#print(q2data3)
q2data4 = q2data3.groupby('上映年份').sum()[['评分人数','好评数']] # 按照电影上映年份统计评分人数和好评数
print(q2data4.head())
fig1 = plt.figure(num=1,figsize=(12,4))
q2data4['评分人数'].loc[2000:].plot.area(figsize = (10,4),
                                    grid = True,
                                    color = 'g',
                                    alpha = 0.8)
plt.xticks(range(2001,2016))
plt.title('2001-2016年每年评影人数总量统计')
# 创建面积图
fig,axes = plt.subplots(4,4,figsize=(10,16))
start = 2001
for i in range(4):
    for j in range(4):
        data = q2data3[q2data3['上映年份'] == start]
        data[['评分人数','好评数']].boxplot(whis = 3,  # IQR为3
                                            return_type='dict',ax = axes[i,j])  # 创建矩阵箱型图
        start += 1
# 发现基本每年的数据中都有异常值，且为极度异常

# 创建函数得到外限最大最小值
# 查看异常值
a = q2data3[q2data3['上映年份'] == 2001]
def data_error(df,col):
    q1 = df[col].quantile(q=0.25)  # 上四分位数
    q3 = df[col].quantile(q=0.75)  # 下四分位数
    iqr = q3 - q1   # IQR
    tmax = q3 + 3 * iqr  # 外限最大值
    tmin = q3 - 3 * iqr  # 外限最小值
    return(tmax,tmin)
# 创建函数，得到外限最大最小值
for i in range(2000,2016):
    datayear = q2data3[q2data3['上映年份'] == i]  # 筛选该年度的数据
    print('%i年有%i条数据' % (i,len(datayear)))  # 查看每年的数据量
    t = data_error(datayear,'评分人数')  # 得到外限最大最小值
    #print(t)
    print(datayear[datayear['评分人数'] > t[0]])  # 查看评分人数大于外限最大值的异常值
    print('-------\n')
# 查看异常值信息