Python 数据分析微专业课程--项目03 视频网站数据清洗整理和结论研究

1.项目说明

  • 读取爱奇艺网站数据,对数据进行清洗和整理,分析不同导演电影的好评率,
  • 对2001-2016电影影评人数分析,筛选出当年热门电影

2.项目具体要求

  • 数据清洗 - 去除空值;时间标签转化
  • 分析出不同导演电影的好评率,并筛选出TOP20
  • 统计分析2001-2016年每年评影人数总量,分析每年人数变化规律,筛选查看异常值,看异常值是否是当年热门电影

3.实现思路:

  • 数据清洗:对空值进行填充,数值型字段填充0,非数值型字段填充’缺失数据’;时间字段格式为’xxxx年xx月xx日’,可以使用datetime.datetime.strptime()方法转化为时间标签。
  • 查看数据可知数据是按天获取了一个月的视频数据,因此数据有重复,所以需要筛选出每一部视频最后获取日期的数据。
    可以根据剧名取最大值,获取各剧最后日期的数据,然后根据导演分组求’好评数’和’评分人数’的总数,即可计算得到好评率。
    根据上映年份分组统计该年份评分人数总数,用该数据绘制面积图,可查看每个年份评分人数总数的变化情况。
  • 筛选热门影片可以采用筛选出当年评分人数的异常值,即评分人数特别多的影片。可以先循环绘制各个年份影片评分人数的箱型图。
    来查看异常数据的大致情况。然后筛选数各个年份中评分人数超过上外限区间的影片,即可得到当年的热门影片。

4.实现过程:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import warnings
import matplotlib
import datetime
import os

warnings.filterwarnings('ignore')

os.chdir('c://test')
data= pd.read_csv('爱奇艺视频数据.csv',engine = 'python',encoding = 'gbk')

#数据清洗 - 去除空值
#要求:创建函数
#提示:fillna方法填充缺失数据,注意inplace参数
def fillnull(df):
    cols = df.columns
    for col in cols:
        if df[col].dtype =='object':
            df[col].fillna('缺失数据',inplace = True)
        else:
            df[col].fillna(0,inplace = True)
    return df
df_c = fillnull(data)

#数据清洗 - 时间标签转化
#① 将时间字段改为时间标签
#② 创建函数
def transformToDate(s):
    return s.apply(lambda x:datetime.datetime.strptime(x,'%Y年%m月%d日'))

df_c['数据获取日期'] = transformToDate(df_c['数据获取日期'])

说明:该项目的数据清洗有两个要求,除了常见的缺失数据清洗,还有对不符合日期格式的数据进行处理,
使之转换为日期标签格式,这样就可以用于后面的计算。

df_s = df_c[['导演','数据获取日期','上映年份','评分人数','整理后剧名','好评数']]    
df_m = df_s.groupby(by = '整理后剧名').max().reset_index()

#根据导演分组计算好评率
comment_df = df_m.groupby(by = '导演').sum()
comment_df['好评率'] = comment_df['好评数']/comment_df['评分人数']

#获得好评率top20
comment_top = comment_df.sort_values(by = '好评率',ascending= False).iloc[:20]

#图表可视化
fig1 = plt.figure(num = 1,figsize = (15,8))
comment_top['好评率'].plot(kind = 'bar',title = '不同导演电影的好评率',color = 'c',rot = 60)
plt.ylim([0.975,1])
plt.yticks(np.linspace(0.98,1,5))
plt.grid(linestyle = '--')

Python 数据分析微专业课程--项目03 视频网站数据清洗整理和结论研究_第1张图片

说明:根据不同导演好评柱状图发现TOP20的导演的好评率都达到98%,差距较小。
从数据分析的角度来看需要注意以下几点:
1.一个导演的好评率行业平均一般是多少,这么高的好评率是否有问题,这个需要从两方面来分析:
第一:数据准确性(刷数据?);
第二:统计量是否合适;
2.分析导演相关问题,是否有其他更加合适统计量

#计算统计出2001-2016年每年评影人数总量
comment_year = df_m[(df_m['上映年份']>=2001)&(df_m['上映年份']<=2016)].drop('数据获取日期',axis = 1)
comment_group = comment_year.groupby('上映年份')[['评分人数']].sum()

#制作面积图,分析每年人数总量变化规律
fig2 = plt.figure(num = 2,figsize = (13,8))
comment_group[['评分人数']].plot.area(alpha = 0.8,color = 'lightblue',figsize = (13,8))
plt.title('2001-2016年每年影评人数总量统计')
plt.xticks(comment_group.index)
plt.xlim([2001,2016])

#验证是否有异常值(极度异常)
fig3,axs = plt.subplots(4,4,figsize = (13,18),)
n = 2001
for i in range(4):
    for j in range(4):
        g= comment_year1.loc[comment_year1['上映年份'] == n]
        g[['评分人数','好评数']].boxplot(sym = 'o',whis = 3,ax =axs[i,j])
        axs[i,j].set_title('%i' % n)
            n+=1
plt.tight_layout(3)

Python 数据分析微专业课程--项目03 视频网站数据清洗整理和结论研究_第2张图片
Python 数据分析微专业课程--项目03 视频网站数据清洗整理和结论研究_第3张图片

说明:面积图非常直观的反映每年度评影人数总量的变化情况,这里可以发现评影人数在2011,2015年由两个峰值,
可以说明这两年有比较多的热门剧,或者有非常热门的剧出现。
创建子图,再循环绘制各年度评分人数和好评数的箱型图,可以查看各年度评分人数的分布情况,以及异常值情况。
由各年度箱型图发现在2011年和2015年有都有比较多的异常值,且异常值数值都较大。与面积图的情况相符

#创建函数获外限最大和最小区间
def get_limits(df,loc):
    q1 = df[loc].quantile(0.25)
    q3 = df[loc].quantile(0.75)
    iqr = q3 - q1
    lim_max = q3+3*iqr
    lim_min = q1-3*iqr
    return (lim_max,lim_min)

#筛选异常值,同过评分人数中的异常值,超过外限最大区间的为当年热门电影

for i in range(2001,2017):
    data_year = comment_year1[comment_year1['上映年份'] ==i] #获得该年份上映的数据
    loc = '评分人数'    #以评分人数作为判定标准
    m = get_limits(data_year,loc)  #获得上下限区间
    overLim_list = data_year[data_year['评分人数']>m[0]] #评分人数大于上限区间的异常值数据
    print('%i年一共有%i条数据:' % (i,len(overLim_list))) 
    print(overLim_list,'\n\n\n ----------')

说明:这里将以超过外限区间的值为异常值,区间计算:最大值区间Q3+3IQR,最小值区间Q1-3IQR (IQR=Q3-Q1)
超过最大值区间的数据评分人数都比较多,可视为热门电影,这里是采用根据年度进行循环筛选,筛选出当年的热门影视剧。
查看筛选出来的影视剧可知这些剧都为当年比较热门的影视剧。2011年的非常热门影视剧是:宫锁心玉, 回家的诱惑.
也可以对热门影视剧的类型进行分析,看哪些类型的影视剧容易成3为热门

5.总结

  • 知识点上这个项目主要还是考查对pandas,numpy,matplotlib的使用,特别是对异常值的查看和筛选。
  • 通过对该项目的完成对数据分析的实际运用有了新的认识,就是如何运用对数据异常值来分析热门的事物。

你可能感兴趣的:(数据分析)