Python高级应用程序设计任务

Python高级应用程序设计任务要求

用Python实现一个面向主题的网络爬虫程序，并完成以下内容：
（注：每人一题，主题内容自选，所有设计内容与源代码需提交到博客园平台）

一、主题式网络爬虫设计方案（15分）
1.主题式网络爬虫名称

   爬取豆瓣图书Top250

2.主题式网络爬虫爬取的内容与数据特征分析

   爬取的内容：获取书籍名称，作者，译者，出版单位，出版时间，定价，豆瓣评分，评价人数，书籍里的一句话

3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）

   实现思路：

          （1）利用requests库中的get()进行网页请求，观察输出状态码

          （2）使用etree进行网页解析

          （3）使用循环实现翻页获取数据

          （4）通过循环beautiful soup获取所需的每本图书的基础信息

          （5）通过xlwt将数据保存到Excel中，以便于后面的数据清洗和数据分析

   技术难点：

          （1）在访问页面，进行请求时，要加User-Agent请求的头部信息

          （2）在获取出版单位和出版时间等，没有灵活应用split进行分割

          （3）之前输出文件为csv文件，后因出现乱码，改为输出xls文件

         

二、主题页面的结构特征分析（15分）
1.主题页面的结构特征

 

 

 

2.Htmls页面解析

 

 

 

3.节点（标签）查找方法与遍历方法
（必要时画出节点树结构）

  使用bs4库，正则表达式，观察页面代码中的标签上下节点。遍历方法使用for循环实现对标签的全部遍历，使用select和split获取所需的信息。

三、网络爬虫程序设计（60分）
爬虫程序主体要包括以下各部分，要附源代码及较详细注释，并在每部分程序后面提供输出结果的截图。
1.数据爬取与采集

 1 import re
 2 import xlwt
 3 import requests
 4 from lxml import html
 5 etree = html.etree
 6 from bs4 import BeautifulSoup
 7 from collections import namedtuple
 8 
 9 #验证请求头部信息，获取HTML页面分析
10 def getHtml(url):
11     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0'}
12     #获取页面数据
13     page = requests.get(url, headers=headers)
14     #解析网页
15     html = page.text
16     return html
17 
18 #利用BeautifulSoup爬取网页内容
19 def get_book_info_bs4():
20     #创建列表
21     Book_list = []
22     # 利用正则表达式表示不转义
23     reg = re.compile(r'\d+')
24     #循环实现翻页，爬取250本图书所需的信息
25     urls = [f'https://book.douban.com/top250?start={page}' for page in range(0, 250, 25)]
26     for url in urls:
27         #html之间用get请求访问获取url中的值
28         html = getHtml(url)
29         #使用Beautiful_lxml解析
30         soup = BeautifulSoup(html, 'lxml')
31         # 在html中使用select标签，获取图书名
32         book_names = soup.select('td[valign="top"] ~ td[valign="top"]')
33         for book_name in book_names:
34             #定义一个namedtuple类型Book，并包含书名,作者,译者,出版单位,出版时间,定价,豆瓣评分,评价人数,一句话属性
35             Book = namedtuple('Book', '书名,作者,译者,出版单位,出版时间,定价,豆瓣评分,评价人数,一句话')
36             Book.书名 = book_name.select_one('div.pl2 > a').get('title')
37             #选择p.pl标签获取作者信息
38             author_info = book_name.select_one('p.pl').text
39             # 利用split实现切割功能，将作者提取出来
40             author_split = re.split('\s/+\s', author_info)
41             author_len = len(author_split)
42             # 利用split实现切割功能，将出版单位、出版时间、定价提取出来
43             Book.出版单位 = author_split[-3]
44             Book.出版时间 = author_split[-2]
45             Book.定价 = author_split[-1]
46             # 利用split实现切割功能，将作者提取出来
47             Book.作者 = author_split[0] if author_len > 3 else ''
48             Book.译者 = author_split[1] if author_len > 4 else ''
49             #选择span.rating_nums获取豆瓣评分标签
50             Book.豆瓣评分 = book_name.select_one('span.rating_nums').text
51             person = book_name.select_one('span.pl').text
52             Book.评价人数 = reg.search(person).group()
53             #选择span.inq获取图书一句话标签
54             one_sentence = book_name.select_one('span.inq')
55             Book.一句话 = one_sentence.text if one_sentence else ''
56             #将书本信息插入列表中
57             Book_list.append(Book)
58     return Book_list
59 
60 #将爬取到存储到Excel中，注意输出格式
61 def write_info_xls(Book_list):
62     #创建一个workbook
63     Workbook = xlwt.Workbook()
64     #在workbook中新建一个名字为豆瓣图书Top250Excel文件
65     sheet = Workbook.add_sheet('豆瓣图书Top250')
66     infos = '书名,作者,译者,出版单位,出版时间,定价,豆瓣评分,评价人数,一句话'.split(',')
67     #定义输出格式，及放置在哪一行哪一列
68     for i in range(0, len(infos) + 0):
69         sheet.write(0, i, infos[i - 0])
70     for i in range(1, len(Book_list) + 1):
71         sheet.write(i, 0, Book_list[i - 1].书名)
72         sheet.write(i, 1, Book_list[i - 1].作者)
73         sheet.write(i, 2, Book_list[i - 1].译者)
74         sheet.write(i, 3, Book_list[i - 1].出版单位)
75         sheet.write(i, 4, Book_list[i - 1].出版时间)
76         sheet.write(i, 5, Book_list[i - 1].定价)
77         sheet.write(i, 6, Book_list[i - 1].豆瓣评分)
78         sheet.write(i, 7, Book_list[i - 1].评价人数)
79         sheet.write(i, 8, Book_list[i - 1].一句话)
80     Workbook.save('豆瓣图书Top250.xls')
81 
82 #主函数
83 if __name__ == '__main__':
84     Book_list = get_book_info_bs4()
85     write_info_xls(Book_list)

 

2.对数据进行清洗和处理

1 #输出爬取豆瓣图书数据文件的前5行
2 import pandas as pd
3 douban_book = pd.DataFrame(pd.read_excel(r'C:\Users\Administrator.PC-20180405YJVN\Desktop\douban_book.xls'))
4 douban_book.head()

 

1 #删除无效列，即评价人数
2 douban_book.drop('评价人数',axis = 1,inplace = True)
3 douban_book.head()

 

1 #查找重复值
2 douban_book.duplicated()

 

1 #删除数据表中的重复值
2 douban_book = douban_book.drop_duplicates()
3 douban_book.head()

 

1 #对数据中译者一列的数据进行空值处理
2 douban_book['译者'].isnull().value_counts()

1 douban_book['译者'] = douban_book['译者'].fillna('无')
2 douban_book.head()

 

 

1 #异常值处理
2 douban_book.describe()

 

3.文本分析（可选）：jieba分词、wordcloud可视化

4.数据分析与可视化
（例如：数据柱形图、直方图、散点图、盒图、分布图、数据回归分析等）

1 #因之前列名是中文，后改为英文
2 import seaborn as sns
3 import pandas as pd
4 import matplotlib.pyplot as plt
5 import matplotlib
6 df = pd.read_excel(r'C:\Users\Administrator.PC-20180405YJVN\Desktop\douban_book.xls')
7 df.sample(5)

 

 1 #查看排名和评分的关系
 2 #配置中文字体和修改字体大小
 3 matplotlib.rcParams['font.family'] = 'SimHei'
 4 matplotlib.rcParams['font.size'] = 20
 5 
 6 #显示大小，宽高
 7 plt.figure(figsize=(10,6))
 8 plt.scatter(df['score'],df['rank'])
 9 plt.xlabel('图书评分')
10 plt.ylabel('图书排名')
11 #修改y轴为倒叙
12 plt.gca().invert_yaxis()
13 
14 plt.show()

 

 

 

1 #评分集中趋势的直方图
2 plt.hist(df['score'],bins=15)
3 plt.show()

 

 

 

1 #年份集中趋势的直方图
2 plt.hist(df['time'],bins=15)
3 plt.show()

 

 

 

 

1 #时间和评分的散点分布图
2 sns.set(style="white")
3 sns.jointplot(x="time",y='score',data=df)

 

 

 

1 #评分和排名的盒图关系
2 sns.boxplot(x='score',y='rank',data=df)

 

 

1 #根据排名和评分绘制回归图
2 sns.regplot(x='score',y='rank',data=df)

 

5.数据持久化

 

 

四、结论（10分）
1.经过对主题数据的分析与可视化，可以得到哪些结论？

   （1）豆瓣图书排名前250的评分主要集中在8.0 - 9.2之间

   （2）豆瓣图书排名前250的出书时间大部分也是在1990 - 2018之间

   （3）大部分情况下，排名越靠前的图书，评价人数越多

2.对本次程序设计任务完成的情况做一个简单的小结。

   通过这次程序设计，我更了解python的爬虫功能，对requests库和BeautifulSoup库有初步的认识，对爬虫的过程也有了初步的了解。