利用爬虫模板进行项目实战
昨天博主发了一篇爬虫:解决动态刷新、基于selenium框架的爬虫、解决登录以及验证码问题(含爬虫模板),介绍了爬虫如何解决动态刷新、基于selenium框架的爬虫、如何解决登录以及验证吗问题,以及分享了爬虫的源码:爬虫模板、基于selenium框架的爬虫模板(包含登录与验证码问题)、爬虫项目实战:爬虫模板爬取单位净值 (动态更新网址)。
今天我们再利用爬虫模板来进行简单的入门项目:爬取豆瓣图书Top250。
整体架构流程基于爬虫模板
由于豆瓣图书没有使用太强的反爬机制,html源码利用F12打开开发人员工具看得到也爬得到,所以这里我们直接使用简单的爬虫模板就可以了。当然读者也可以尝试使用基于selenium的爬虫模板自己动手尝试,模板请在概要或者源码的链接里自取。
需要做的修改:
这一步是对爬取到的html源码进行解析,需要我们对html语言有一定的了解,可以简单了解一下HTML 教程- (HTML5 标准),同时还需要对BeautifulSoup有了解,可以参考python爬虫之Beautifulsoup模块用法详解。
这里我们主要爬取图书的书名、作者、评分、简介。我们打开一个网页豆瓣读书 Top 250,F12打开开发人员工具,查看对应的html源码。
可以看到:
1.书名:在class为pl2的div标签的a标签里面,由于a标签没有容易找的属性,所以我们查找div标签。
data_list = []
data_list.append([i.find('a')['title'] for i in soup.find_all(name='div', attrs={'class': 'pl2'})]) # 书名 # 书名
2.作者:在class为pl的p标签里面,可以直接找。
data_list.append([i.text for i in soup.find_all(name='p',attrs={'class':'pl'})]) # 作者
3.评分:虽然也是在一个div标签里,但是它主要是在class为rating_nums的span标签里面,也是可以直接找的。
data_list.append([i.text for i in soup.find_all(name='span',attrs={'class':'rating_nums'})]) # 评分
4.简介:一样是在一个p标签里面,但它所在的span标签有class为inq,可以直接查找。不过比起其它三个,某些书没有这一项,所以有可能会对应不上,于是对于没有的,我们把它设为空。因此,我们也没办法直接查找span标签了,所以我们通过它的祖先标签tr,class值为item间接搜索它,找到的直接添加在数据列表,没有就加空字符串。
list=[] # 简介
for i in soup.find_all(name='tr',attrs={'class':'item'}):
if(i.find(name='span', attrs={'class': 'inq'})): # 简介存在
list.append(i.find(name='span',attrs={'class':'inq'}).text)
else: # 简介可能不存在
list.append(' ')
data_list.append(list)
在step2中,我们将爬取到250本书的书名、作者、评分、简介分别存在一个列表当中,一共4个列表,再把它们放在一个大列表中。这一步要做的是就是把他们存储在txt或者其它文件当中,还是比较简单的,主要就是文件的读取而已。
with open('豆瓣图书Top250.txt','a', encoding='utf-8') as file:
for i in range(25):
file.write("书名:" + result_list[0][i] + '\n')
file.write("作者:" + result_list[1][i] + '\n')
file.write("评分:" + result_list[2][i] + '\n')
file.write("简介:" + result_list[3][i] + '\n')
file.write('=' * 50 + '\n')
这一步只需稍微修改,原因是豆瓣的每一页只有25本书,而我们要爬取的是Top250的。那么如何解决呢,观察榜单的链接可以发现榜单的每一页的链接都只是在 https://book.douban.com/top250?start=
的后面加上0、25…而已,所以简单遍历一下就可以了。
spider = MySpider()
url = "https://book.douban.com/top250?start="
for page in range(0,250,25):
target_url=url+str(page)
html_content = spider.get_html_content(target_url)
if html_content:
result_list = spider.parse_html(html_content)
spider.store_data(result_list)
else:
print("网页访问失败")
爬虫模板请看爬虫:解决动态刷新、基于selenium框架的爬虫、解决登录以及验证码问题(含爬虫模板)
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
from tqdm import trange
class MySpider():
def __init__(self):
pass
# Step 1: 访问网页并获取响应内容
def get_html_content(self, url):
headers = {
'User-Agent': UserAgent().random
} # 请求头,爬虫程序通过加上请求头伪装成浏览器
data = {'name': 'huoyouxing'}
try:
response = requests.get(url, data=data, headers=headers)
response.raise_for_status() # 判断返回的Response类型状态是不是200
response.encoding = response.apparent_encoding # 从内容中分析出的响应内容编码
html_content = response.text # 网页内容
return html_content # 返回网页内容
except Exception as e:
print(f"网络请求异常:{e}")
return None
# Step 2: 解析网页并提取目标数据
def parse_html(self, html_content):
soup = BeautifulSoup(html_content, 'html.parser') # 解析 html 数据
# TODO:根据需求编写解析代码,并将结果保存到合适的数据结构中
data_list = []
data_list.append(
[i.find('a')['title'] for i in soup.find_all(name='div', attrs={'class': 'pl2'})]) # 书名
data_list.append([i.text for i in soup.find_all(name='p', attrs={'class': 'pl'})]) # 作者
data_list.append([i.text for i in soup.find_all(name='span', attrs={'class': 'rating_nums'})]) # 评分
list = [] # 简介
for i in soup.find_all(name='tr', attrs={'class': 'item'}):
if i.find(name='span', attrs={'class': 'inq'}): # 简介存在
list.append(i.find(name='span', attrs={'class': 'inq'}).text)
else: # 简介可能不存在
list.append(' ')
data_list.append(list)
return data_list
# Step 3: 存储数据到本地或其他持久化存储服务器中
def store_data(self, result_list):
# TODO:编写存储代码,将数据结果保存到本地或其他服务器中
with open('豆瓣图书Top250.txt', 'a', encoding='utf-8') as file:
for i in range(25):
file.write("书名:" + result_list[0][i] + '\n')
file.write("作者:" + result_list[1][i] + '\n')
file.write("评分:" + result_list[2][i] + '\n')
file.write("简介:" + result_list[3][i] + '\n')
file.write('=' * 50 + '\n')
# Step 4: 控制流程,调用上述函数完成数据抓取任务
if __name__ == '__main__':
spider = MySpider()
url = "https://book.douban.com/top250?start="
for page in trange(0, 250, 25):
target_url = url + str(page)
html_content = spider.get_html_content(target_url)
if html_content:
result_list = spider.parse_html(html_content)
spider.store_data(result_list)
else:
print("网页访问失败")