8.Python3爬虫实例——使用BeautifulSoup4重构爬取名著

1.BeautifulSoup4概论

• 是不是觉得正则很麻烦呢?那么BeautifulSoup4(以下简称BS4)可以轻松解决这个问题。因为BS4不用写正则！！

原理：将整个页面转为一个对象，然后将每个节点按照父子、兄弟的关系进行分类，最后形成一个树状结构。例如

first
second

经过解析后为

这样子直接按需求取响应的对象就可以了。不需要正则进行匹配了。

2.流程

• 因为是对项目的重构。项目正则法传送门
  流程依旧是WWHS：
  1.从哪爬 where
  2.爬什么 what
  3.怎么爬 how
  4.爬了之后信息如何保存 save
  
  

3.具体代码

• 使用pip安装BS4.
• py文件头部导入

import urllib.request
import chardet
from bs4 import BeautifulSoup

• 读取网页代码

url="http://www.shicimingju.com/book/sanguoyanyi.html" # 要爬取的网络地址
menuCode=urllib.request.urlopen(url).read()  # 将网页源代码赋予menuCode

• 使用BS4处理后得到整个页面的soup和要找的部分soup2。

soup=BeautifulSoup(menuCode,'html.parser')  # 使用html解析器进行解析
menu=soup.find_all(id="mulu")  # 在soup中找到id为mulu的节点
values = ','.join(str(v) for v in menu) # 将 menu转换为str类型
soup2=BeautifulSoup(values,'html.parser');
soup2=soup2.ul  # 用子节点代替soup2

• 找到书名并创建txt文件。

bookName=soup.h1.string # 找到了书名
f=open('D://'+bookName+'.txt','a',encoding='utf8')

• 爬取章节url，并解决url为本地的问题。

bookMenu=[] # 章节list
bookMenuUrl=[] # 章节url的list
for i in range(1,len(soup2.contents)-1): # 依次爬取书的章节
    bookMenu.append(soup2.contents[i].string)
    bookMenuUrl.append(soup2.contents[i].a['href'])
urlBegin="http://www.shicimingju.com" # 解决url为本地的问题

• 依次爬取每章内容并写入txt。

for i  in  range (0,len(bookMenuUrl)):# 依次替换url，读取每章页面的内容
    chapterCode=urllib.request.urlopen(urlBegin+bookMenuUrl[i]).read()
    result=chardet.detect(chapterCode) # 检验读取的页面的编码方式
    if(result['confidence']>0.5): # 如果概率大于0.5 即采取这种编码
        chapterCode=chapterCode.decode(result['encoding'])
    chapterSoup=BeautifulSoup(chapterCode,'html.parser') # 使用BS读取解析网页代码
    chapterResult=chapterSoup.find_all(id='con2')  # 找到id=‘con2’的节点
    chapterResult = ','.join(str(v) for v in chapterResult) # 将节点内的代码转为str类型
    chapterSoup2=BeautifulSoup(chapterResult,'html.parser') # 使用BS解析节点内代码
    chapterSoup2=chapterSoup2.br
    f.write(bookMenu[i]) # 写入文件每章标题
    for j in range(0,len(chapterSoup2)): # 循环写入每章内容
        chapterText=chapterSoup2.contents[j].string
        f.write(chapterText)

4.总结

BeautifulSoup4将解析工作交给了框架本身，我们只用根据节点进行查询就可以了。