利用CSS选择器爬取豆瓣上的图书
利用CSS选择器爬取豆瓣上的图书
主要技术：熟练掌握requests、BeautifulSoup
爬取图书链接 "https://book.douban.com/latest?icn=index-latestbook-all"
代码块
import requests
from bs4 import BeautifulSoup
def get_film(url):
headers = {'User-Agent': 'Mozilla/5.0'} #防止反爬虫
try:
r=requests.get(url,headers=headers)
r.raise_for_status()
r.encoding=r.status_code
return r.text
except:
return "爬取失败!"
def parse_html(html,List):
film_name1=[]
film_actor1=[]
film_actor2=[]
soup=BeautifulSoup(html,'html.parser')
for name in soup.select(' .detail-frame h2 a'): #利用BeautifulSoup中的CSS选择器
film_name1.append(name.get_text())
for actor in soup.select(' p.color-gray'):
film_actor1.append(actor.get_text())
for i in film_actor1: #消除文本中的空格和换行字符
a=i.replace(' ','')
b=a.replace('\n','')
film_actor2.append(b)
for i in range(len(film_name1)):
List.append([film_name1[i],film_actor2[i]])
def PrintList(List):
tplt = '{0:{2}<20}\t{1:{2}<50}'
print(tplt.format("电影",'主演、出版社、时间',chr(12288))) #chr(12288)字符不够所设置的宽度，采用中文字符填充
for item in List:
print(tplt.format(item[0], item[1],chr(12288)))
def write_to_file(List):#存取文件，如果不设置路径，自动存储在代码所在的文件夹下
with open('result.xls','w',encoding='utf-8') as f:
for i in range(len(List)):
for j in range(len(List[i])):
f.write(str(List[i][j]))
f.write('\t')
f.write('\n')
def main():
List=[]
url="https://book.douban.com/latest?icn=index-latestbook-all"
html=get_film(url)
parse_html(html,List)
PrintList(List)
write_to_file(List)
main()爬取结果：
电影 主演、出版社、时间
火鸟 [日]手冢治虫/后浪丨北京联合出版公司/2018-10
隐剑孤影抄 [日]藤泽周平/译林出版社/2018-8
犹太警察工会 [美]迈克尔·夏邦/中信出版社/2018-8
坚果壳 [英]伊恩·麦克尤恩/上海译文出版社/2018-8
春天 阿乙/四川文艺出版社/2018-8-1
崖山 吕玻/后浪丨文化发展出版社/2018-10
华龙之宫 [日]上田早夕里/化学工业出版社/2018-8-1
推理作家的信条 王稼骏/新星出版社/2018-8
方岛 金宇澄/上海人民出版社/2018-8
亲爱的陌生人 [法]卡米耶·茹尔迪/北京联合出版公司/2018-8-1
花街往事 路内/人民文学出版社/2018-8-1
斜眼狗 [法]艾蒂安·达沃多/后浪丨北京联合出版公司/2018-10
天使之触 [英]乔纳森·莫里斯/新星出版社/2018-8
大问题 [美]安德斯·尼尔森/后浪丨北京联合出版公司/2018-10
罐头厂街 [美]约翰·斯坦贝克/人民文学出版社/2018-8
软刺 [美]艾米丽•福里德伦德/四川文艺出版社/2018-9
我们这一代 李昆武编绘/后浪丨湖南美术出版社/2018-10
黑地之绘 [日]松本清张/人民文学出版社/2018-8
寻找邓巴 [英]爱德华·圣奥宾/未读·文艺家·北京联合出版公司/2018-9
水獭先生的新邻居 李星明/连环画出版社/2018-8
我每天只工作3小时 [日]押井守/后浪丨四川人民出版社/2018-10
宋徽宗 [美]伊沛霞/理想国|广西师范大学出版社/2018-8
料理图鉴 [日]越智登代子著/平野惠理子绘/后浪丨湖南美术出版社/2018-9
两个世界的战争 [美]安东尼·帕戈登(AnthonyPagden)/民主与建设出版社/2018-9
左道 [美]万志英（RichardvonGlahn）/社会科学文献出版社/2018-8
印度佛教史 [日]平川彰/后浪丨北京联合出版公司/2018-9
明年更年轻：运动赋能篇 [美]克里斯·克劳利/亨利·洛奇/后浪丨北京联合出版公司/2018-9
空王冠 [英]丹·琼斯(DanJones)/社会科学文献出版社/2018-8
未完的明治维新 [日]坂野润治/社会科学文献出版社/2018-9
独自迈向生命的尽头 [奥]让·埃默里/三辉图书/鹭江出版社/2018-8
自我驱动心理学 [美]史蒂文•贝格拉斯/STEVENBERGLAS/后浪丨江西人民出版社/2018-9
精准表达 [日]高田贵久/后浪丨江西人民出版社/2018-8
万物并作 [美]濮德培(PeterC.Perdue)/生活·读书·新知三联书店/2018-8-1
写作这门手艺 [美]约翰·麦克菲/浦睿文化·湖南文艺出版社/2018-9
正午6 正午故事/台海出版社/2018-8
韭菜的自我修养 李笑来/江苏凤凰文艺出版社/2018-9-21
四君主 [英]约翰·朱利叶斯·诺威奇/民主与建设出版社/2018-9
谁此时孤独 [奥]里尔克/华东师范大学出版社/2018-8
海 [德]弗兰克·施茨廷/后浪丨四川人民出版社/2018-8
独抒己见 [美]纳博科夫/上海译文出版社/2018-9-1