python 爬虫初探和简单数据分析及可视化，帮学妹写个大作业

学妹期末大作业

基于Python的十年（2009年~2018年）电影票房前25位分析
根据URL“http://www.cbooo.cn” 通过代码爬取2009-2018每年票房排名前25的影片名称、类型、总票房（万）、平均票价、场均人次及国家及地区的信息，并按照以下要求完成分析。
1． 按年统计
1） 不同类型电影的平均票房
2） 不同国家及地区电影在前25排名中的占比
2． 分析十年间
1） 每年票房冠军的票房走势，并找出十年票房总冠军
2） 不同类型的票房分冠军
3） 同一类型电影平均票房走势，分别找出上升、下降最厉害的两种类型
4） 同一地区在前25排名中占比的变化趋势，分别找出占比上升、下降最厉害的两个地区
5） 探究是否有一种或多种类型的电影在十年间票房震荡非常厉害
3． 分析总票房和平均票价、场均人次、排片场数之间的关系。
4．撰写word文档完成本分析题，所有的结论和分析都需要配图或表加以支撑。并将十年间共250部电影名称作成词云烘托主题。

大作业分析

1.环境，建议使用anaconda3（环境集成，不用再去安装依赖包，之类的）
官网地址：https://www.anaconda.com/download/
2.分为爬取数据和分析两个部分
下面直接上代码

爬虫部分，爬取数据并存放到data.csv中

#!/usr/bin/python
# -*- coding: utf-8 -*-
import requests
import time
import re
import csv
from bs4 import BeautifulSoup

#设置URL固定部分
url='http://www.cbooo.cn/year?year='
#设置请求头部信息
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
#循环抓取列表页信息
for year in range(2009,2019):
    if year == 2009:
        year=str(year)
        a=(url+year)
        r=requests.get(url=a,headers=headers)
        html=r.content
    else:
        year=str(year)
        a=(url+year)
        r=requests.get(url=a,headers=headers)
        html2=r.content
        html = html + html2
    #每次间隔0.5秒
    time.sleep(0.5)
lj=BeautifulSoup(html,'html.parser')
#print(lj)
#提取名称、类型、总票房（万）、平均票价、场均人次及国家及地区
result=lj.find_all('td')
#print(result)
#print(len(result))
mname=[]
title=""
index=1
year=2009
for i in result:
    i=str(i)
    title=re.findall(r'(.*?)
',i,re.I|re.M)
    if len(title)>0:
        mname.append(index)
        index=index+1
        mname.append(title[0])
    else:
        info=re.findall(r'(.*?)',i,re.I|re.M)
        mname.append(info[0])
#print(len(mname))
#print(mname)
k=0
data=[]
while k<2000:
    year=2009
    year=year+(k//200)
    data.append([mname[k],mname[k+1],mname[k+2],mname[k+3],mname[k+4],mname[k+5],mname[k+6],mname[k+7],year,1])
    k=k+8
#print(data)
print(len(data))#一共250条数据
#将结果存到CSV文件
with open('./data.csv','w') as fout:
    cin= csv.writer(fout,lineterminator='\n')
    #写入row_1    cin.writerow(["index","name","type","zpf","mantimes","price","area","datatime","year","mark"])
    for item in data:
        cin.writerow(item)

结果，生成一个data.csv文件，我们打开看一下

image.png

一共250行数据，也就是近10年的电影
接下来，我们进行分析部分的代码

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

data1 = pd.read_csv('./data.csv',encoding='gbk')
#data

# 1.1 按年统计 不同类型电影的平均票房
data=data1
data = data.groupby(['type','year']).zpf.mean().unstack()
#没有的补0
data.fillna(0,inplace = True)
data

image.png

# 1.2 按年统计 不同国家及地区电影在前25排名中的占比
data=data1
data.mark = data.mark/25
data = data.groupby(['area','year']).mark.sum().unstack()
data.fillna(0,inplace = True)
data

image.png

# 2.1 分析十年间 每年票房冠军的票房走势，并找出十年票房总冠军
data=data1
df_empty = pd.DataFrame()
i=0
while i

image.png

# 2.2 分析十年间 不同类型的票房分冠军---失败待解决
data=data1
data=data.groupby('type').agg({'zpf':['max']}).reset_index()
data

# 2.3 分析十年间 同一类型电影平均票房走势，分别找出上升、下降最厉害的两种类型
data=data1
data = data.groupby(['type','year']).zpf.mean().unstack()
data.fillna(0,inplace = True) 
#设置识别中文
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False
#设置画布大小
plt.figure(figsize=(12,6))
plt.title('同一类型电影平均票房走势',fontsize=20)
plt.xlabel('年份')
plt.ylabel('平均票房(万)')
plt.plot(data.T)
data.T.plot()
#data

# 2.4 分析十年间 同一地区在前25排名中占比的变化趋势，分别找出占比上升、下降最厉害的两个地区
data=data1
#mark设置为1/25，方便后边算比例
data.mark=0.04
data = data.groupby(['area','year']).mark.sum().unstack()
data.fillna(0,inplace = True)
#设置画布大小
plt.figure(figsize=(12,6))
plt.title('同一地区在前25排名中占比的变化趋势',fontsize=20)
plt.xlabel('年份')
plt.ylabel('占比')
plt.plot(data.T)
data.T.plot()
#data

# 2.5 分析十年间 探究是否有一种或多种类型的电影在十年间票房震荡非常厉害
data=data1
data = data.groupby(['type','year']).zpf.sum().unstack()
data.fillna(0,inplace = True) 
#设置画布大小
plt.figure(figsize=(12,6))
plt.title('电影类型在十年间总票房变化',fontsize=20)
plt.xlabel('年份')
plt.ylabel('总票房（万）')
plt.plot(data.T)
data.T.plot()
#data

#3．分析总票房和平均票价之间的关系
data=data1
#设置画布大小
plt.figure(figsize=(12,6))
plt.title('总票房和平均票价的关系',fontsize=20)
plt.xlabel('平均票价')
plt.ylabel('总票房（万）')
plt.scatter(data.price,data.zpf,c='r')
#data

image.png

#3．分析总票房和场均人次的关系
data=data1
#设置画布大小
plt.figure(figsize=(12,6))
plt.title('总票房和场均人次的关系',fontsize=20)
plt.xlabel('场均人次')
plt.ylabel('总票房（万）')
plt.scatter(data.mantimes,data.zpf,c='g')

image.png

#3．分析总票房和排片场数之间的关系
data=data1
#设置画布大小
plt.figure(figsize=(12,6))
plt.title('总票房和排片场数的关系',fontsize=20)
plt.xlabel('排片场数（万）')
plt.ylabel('总票房(万)')
plt.scatter(data.zpf,(data.zpf/data.price/data.mantimes),c='b')

image.png

#4．将十年间共250部电影名称作成词云烘托主题-----待解决
from PIL import Image,ImageSequence
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud,ImageColorGenerator
image= Image.open('./tim.jpg')
graph = np.array(image)
wc = WordCloud(font_path='./fonts/simhei.ttf',background_color='White',max_words=50,mask=graph)
wc.generate_from_frequencies(keywords)
image_color = ImageColorGenerator(graph)
plt.imshow(wc)
plt.imshow(wc.recolor(color_func=image_color))
plt.axis("off")
plt.show()
wc.to_file('dream.png')

有问题的地方后期会更新一下，总的来说，这是五个月前，第一次写python爬虫，然后做数据分析
请大家多多提些宝贵意见！

感谢阅读~