python爬虫实战二、多页爬取全篇小说并分章节保存本地
多页爬取全篇小说并分章节保存本地
有需要爬取一些文章来满足自己开发的实际需要，以下以爬取经典小说《西游记》为例，共计101回。
在开始之前我们需要导入我们需要的库：
①beautifulsoup4
②requests
③lxml根
据实际需要导入自己需要的库，也可以不用以上的库，自己熟悉哪种解析库，便优先选取哪种。
本次爬取的网站为诗词名句网中的西游记小说
总代码如下：
from bs4 import BeautifulSoup #导入需要的库
import requests
import time
from lxml import etree
def get_word(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'} #获得响应头
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser') # BeautifulSoup解析网页
html = etree.HTML(response.text) # XPath解析
title = soup.select(
'body > div.layui-container > div.layui-row.layui-col-space10 > div.layui-col-md8.layui-col-sm7 > div.www-main-container.www-shadow-card > h1')
# 设置小说文件储存位置，如果不存在在该文件夹则生成一个该文件（显然我们是来没有创建的）
# 文件夹的名称为，每回章节的名称
src = 'C:\\Users\LeeChoy\\Desktop\\APPs\\经典文学\\西游记素材\content\\' + title[0].get_text() + '.txt'
# 打开文件夹并且，编码设置成utf-8
f = open(src, 'w+', encoding='utf-8')
# print(title[0].get_text())
f.write(title[0].get_text() + '\n') # title[0].text 写入章节标题
words = soup.select(
'body > div.layui-container > div.layui-row.layui-col-space10 >'
' div.layui-col-md8.layui-col-sm7 > div.www-main-container.www-shadow-card > div > p')
for word in words:
print(word.text)
f.write(" " + word.text +'\n') #写入章节内容
f.close() //关闭文件
if __name__ == '__main__': #主函数开始
for i in range(1, 101): #利用最笨的方法构建100个网址
url = 'http://www.shicimingju.com/book/xiyouji/'
url = url + str(i) + '.html'
get_word(url)
time.sleep(1) #延迟响应1秒防止浏览过快被封ip
爬取结果
