python爬取豆瓣书评排行榜_爬虫：爬取豆瓣读书排行榜

写在前面的话

单说爬虫豆瓣排行榜，好像有点无聊~

如果说，利用我们爬取的信息，可以做一个自己的年度读书展示，会不会感觉有趣一点呢，嘻嘻~

爬取豆瓣书籍的封面图，很快就可以做一个属于自己的读书小结啦~(参照下图)

读书展示

之前网友提示我，触发了豆瓣反爬机制， 。

感谢网友提醒。现已更改。——2020.01.06

完整代码

import requests # 获取网页数据

from bs4 import BeautifulSoup # 解析网页数据

import time # 设置爬虫等待时间

import xlwt

# 获取豆瓣网址并解析数据

def get_douban_books(url,num):

headers = {

'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

}

res = requests.get(url,headers=headers) # requests发起请求，静态网页用get

soup = BeautifulSoup(res.text, 'html.parser')

m = n = j = num

items_title = soup.find_all("div