Python爬取豆瓣top250书籍(beautifulsoup法)

库需求

• requests（对网站发起请求）
• beautifulsoup（提取html信息）
• re（正则表达式）
• fake_useragent（生成假的请求头）
• xlwt（处理excel文档）

准备

打开豆瓣Top250书籍网站https://book.douban.com/top250，观察其html特点，找到储存书本信息的位置。

代码

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
import re
import xlwt
ua=UserAgent()#生成假的请求头

def getBooks(page):
    if page==0:
        url='https://book.douban.com/top250'
    else:
        url='https://book.douban.com/top250'+'?start='+str(page*25) #根据top250的网站url特点进行循环构造
    try:
        user_agent = ua.random
        res = requests.get(url,headers={
     'User-Agent': user_agent})#利用假的请求头进行请求，以提高爬虫成功率
        html=res.text
        res.raise_for_status()   # 如果返回的状态码不是200， 则抛出异常;
        res.encoding = res.apparent_encoding  # 判断网页的编码格式， 便于respons.text知道如何解码;
    except Exception as e:
        print("爬取错误")
    html=res.text
    return html

def processHtml(html):
    soup=BeautifulSoup(html,"html.parser")
    return soup

def getTitle(soup):
    lists=soup.find_all('div',class_="pl2")#找到储存书籍标题的部分
    titles=[]
    for item in lists:
        url=item.find('a').get('title')
        titles.append(url)#在列表的尾部添加一个元素，达到扩充列表的目的
    return titles#返回主页每一本书对应的题目

def getUrls(soup):
    lists=soup.find_all('div',class_="pl2")
    urls=[]
    for item in lists:
        url=item.find('a').get('href')#寻找每一本书对应的网址
        urls.append(url)#在列表的尾部添加一个元素，达到扩充列表的目的
    return urls#返回主页每一本书对应的网址

def getBasicMessage(soup):
    lists=soup.find_all('p',class_="pl")
    messages=[]
    for item in lists:
        message=item.string #只提取字符串部分，滤去标签
        messages.append(message)
    return messages

def getStars(soup):
    lists=soup.find_all('span',class_="rating_nums")
    stars=[]
    for item in lists:
        star=float(item.string)#只提取字符串，并将评分转化为浮点数形式
        stars.append(star)
    return stars

def getPeopleNumbers(soup):
    lists=soup.find_all('span',class_="pl")
    peoples=[]
    for item in lists:
        people=item.text
        peoples.append(people)
    num = []
    for i in peoples:
        r = re.findall(r"\d+\.?\d*",i)#提取字符串中数字的正则表达式
        num.append(int(r[0]))#将字符串转化为整数
    return num

if __name__ == '__main__':
    book=xlwt.Workbook(encoding='utf-8')#设置文档的编码格式为utf-8
    sheet=book.add_sheet('豆瓣图书Top250')#建立excel工作簿
    sheet.write(0,0,'名称')#在excel中写入标题
    sheet.write(0,1,'网址')
    sheet.write(0,2,'基本信息')
    sheet.write(0,3,'评分')
    sheet.write(0,4,'人数')
    for i in range (0,10):#爬取十个页面(top1-top250)
        print('爬取第%d页的数据'%(i+1))
        html=getBooks(i)
        soup=processHtml(html)
        list1=getTitle(soup)
        list2=getUrls(soup)
        list3=getBasicMessage(soup)
        list4=getStars(soup)
        list5=getPeopleNumbers(soup)
        for n in range (0,25):#将每个页面中每一本书的信息写入excel中
            print('爬取第%d本书'%(i*25+n+1))
            sheet.write(i*25+n+1,0,list1[n])
            sheet.write(i*25+n+1,1,list2[n])
            sheet.write(i*25+n+1,2,list3[n])
            sheet.write(i*25+n+1,3,list4[n])
            sheet.write(i*25+n+1,4,list5[n])
    book.save(u'豆瓣最受欢迎的250本书.xls')#保存文件，注意不能是xlsx
    print("爬取完毕")

效果