爬取豆瓣的图书信息
emmm，感谢豆瓣提供的平台，爬也没那么多反爬虫机制。于是顺手爬了。。。
# coding:utf-8
# 采集豆瓣书信息和图片，写进数据库from urllib import parse
from urllib import request
from lxml import etree
import json, pymysql
import time
biaoqianmen=[ '外国文学', '文学' , '随笔' ,
'中国文学' , '经典' , '日本文学' , '散文' ,
'村上春树' , '诗歌' , '童话' , '儿童文学' ,
'古典文学' , '王小波' , '杂文' , '名著',
'余华' , '张爱玲' , '当代文学' , '钱钟书' ,
'外国名著' , '鲁迅' , '诗词' , '茨威格' ,
'米兰·昆德拉' , '杜拉斯' , '港台' ,
'漫画 , 推理' , '绘本' , '青春' ,
'东野圭吾' , '科幻' , '言情' , '悬疑' ,
'奇幻' , '武侠', '日本漫画' , '韩寒' ,
'耽美' , '推理小说', '亦舒' , '三毛' ,
'网络小说' , '安妮宝贝', '郭敬明' , '穿越' ,
'金庸' , '阿加莎·克里斯蒂' , '轻小说' , '科幻小说' ,
'几米' , '青春文学' , '魔幻' , '幾米' ,
'张小娴' ,
'沧月' , '校园' , '落落' , '张悦然' ,
'历史' , '心理学' , '哲学' , '传记' ,
'文化' , '社会学' , '艺术' , '设计' ,
'社会', '政治', '建筑' , '宗教' ,
'电影 ','数学' , '政治学' , '回忆录' ,
'中国历史' , '思想' , '国学' , '人文' ,
'音乐 ', '人物传记' , '绘画' , '艺术史' ,
'戏剧 ', '佛教' , '军事' , '二战' ,
'西方哲学' , '近代史' , '考古' , '自由主义' ,
'美术 ',
'爱情 ', '旅行' ,
'励志 ', '心理' ,
'职场 ', '教育' ,
'灵修 ', '健康' ,
'两性 ', '养生' ,
'自助游' ,
'科普' , '互联网' , '编程' , '科学' ,
'交互设计' , '用户体验' , '算法' , '科技' , '通信' , '交互' ,'神经网络' , '程序' ,
]
url = 'https://book.douban.com/tag/'
headers = {
'Host': 'book.douban.com',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'
}
content_dict_allli=[]
for k in biaoqianmen:
print(k)
try:
for i in range(30):
url = 'https://book.douban.com/tag/'
url+=(parse.quote(k)+"?start="+str(i*20)+"&type=T")
print(url)
req = request.Request(url=url, headers=headers, method="GET")
content = request.urlopen(req).read().decode("utf-8")
content_dict = etree.HTML(content) # 格式化
content_dict_allli.extend(content_dict.xpath(r'//*[@id="subject_list"]/ul/li')) # 拿到列表
print(i)
time.sleep(0.1)
except Exception:
pass
for li in content_dict_allli:
try:
time.sleep(0.01)
# 书名/标题
title_list = li.xpath(r'div[2]/h2/a/@title') # 取标签里的内容，注意地址是相对地址，不能直接拿来用 （注：和bs4不一样）
title = title_list[0]
title = title.replace(" ", '')
#print(title)
# 信息 作者、出版社
info_list = li.xpath(r'div[2]/div[1]/text()')
author = info_list[0].split('/')[0]
author = author.replace('\n', '').replace(" ", '')
chubanshe = info_list[0].split('/')[1]
#print(author)
#print(chubanshe)
# 评分
pingfen_list = li.xpath(r'div[2]/div[2]/span[2]/text()')
pingfen = pingfen_list[0]
#print(pingfen)
# 图片
img_net_addr = li.xpath(r'div[1]/a/img/@src')
img_net_addr = img_net_addr[0]
#print(img_net_addr)
#data = request.urlopen(img_net_addr).read()
#img_name = 'F:\py3\爬虫系列\豆瓣\douban\\' + title + str('.jpg')
#with open(img_name, 'wb')as f:
# f.write(data)
#简介
url=li.xpath(r'div[1]/a/@href')
tushuurl=url[0]
reqq = request.Request(url=tushuurl, headers=headers, method="GET")
contentq = request.urlopen(reqq).read().decode("utf-8")
jianjiedict = etree.HTML(contentq) # 格式化
#content_dict.xpath(r'//*[@id="subject_list"]/ul/li')
wordf=jianjiedict.xpath(r'//*[@class="intro"]/p/text()')
zuopingjianjie=wordf[0]
zuozhe=wordf[1]
biaoqian=jianjiedict.xpath(r'//a[@class=" tag"]/text()')
kong=''
for i in biaoqian:
kong+=i
kong+='#'
# 数据库，请改为自己的数据库
db = pymysql.connect(host='localhost', port=3306, user="", password='', db='douban', charset='utf8') #
cur = db.cursor()
sql = "insert into douban(title,author,chubanshe,pingfen,picture,zuopingjianjie,zuozhe,biaoqian)values('%s','%s','%s','%s','%s','%s','%s','%s')" % (
title, author, chubanshe, pingfen,img_net_addr,zuopingjianjie,zuozhe,kong)
print(sql)
cur.execute(sql)
db.commit()
except Exception:
pass
db.close()