爬取豆瓣读书的书籍(一)

环境准备:
Python3
PyCharm 2018.3.4 x64
Google Chrome浏览器

爬取豆瓣读书书籍的基本步骤
爬取豆瓣读书的书籍(一)_第1张图片
1、在pycharm中导入urllib模块的request;
2、获取豆瓣读书网的url信息和User-Agent;
3、用urlopen打开网址并发送请求;
4、用urlretrieve来保存我们打开的网页信息。

爬取豆瓣首页信息
from urllib import request
#获取豆瓣读书的网址
url = 'https://book.douban.com/'
#获取豆瓣读书网的代理用户信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36'
}
#打开网址并发送请求
rq = request.Request(url,headers=headers)
res = request.urlopen(rq)
resp=request.urlretrieve(url,'')
print(res.read().decode('utf-8'))  #解码

爬取豆瓣读书的书籍(一)_第2张图片
谢谢!

你可能感兴趣的:(爬取豆瓣读书的书籍(一))