python爬取豆瓣书评排行榜_爬虫:爬取豆瓣读书排行榜

写在前面的话

单说爬虫豆瓣排行榜,好像有点无聊~

如果说,利用我们爬取的信息,可以做一个自己的年度读书展示,会不会感觉有趣一点呢,嘻嘻~

爬取豆瓣书籍的封面图,很快就可以做一个属于自己的读书小结啦~(参照下图)

读书展示

之前网友提示我,触发了豆瓣反爬机制, 。

感谢网友提醒。现已更改。——2020.01.06

完整代码

import requests # 获取网页数据

from bs4 import BeautifulSoup # 解析网页数据

import time # 设置爬虫等待时间

import xlwt

# 获取豆瓣网址并解析数据

def get_douban_books(url,num):

headers = {

'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

}

res = requests.get(url,headers=headers) # requests发起请求,静态网页用get

soup = BeautifulSoup(res.text, 'html.parser')

m = n = j = num

items_title = soup.find_all("div

你可能感兴趣的:(python爬取豆瓣书评排行榜)