利用CSS选择器爬取豆瓣上的图书

利用CSS选择器爬取豆瓣上的图书

---

主要技术：熟练掌握requests、BeautifulSoup
爬取图书链接 "https://book.douban.com/latest?icn=index-latestbook-all"

代码块

import requests
from bs4 import BeautifulSoup



def get_film(url):
    headers = {'User-Agent': 'Mozilla/5.0'}   #防止反爬虫
    try:
        r=requests.get(url,headers=headers)
        r.raise_for_status()
        r.encoding=r.status_code
        return r.text

    except:
        return "爬取失败!"

def parse_html(html,List):
    film_name1=[]
    film_actor1=[]
    film_actor2=[]
    soup=BeautifulSoup(html,'html.parser')
    for name in soup.select(' .detail-frame h2 a'):    #利用BeautifulSoup中的CSS选择器
        film_name1.append(name.get_text())
    for actor in soup.select(' p.color-gray'):
        film_actor1.append(actor.get_text())
    for i in film_actor1:   #消除文本中的空格和换行字符
        a=i.replace(' ','')
        b=a.replace('\n','')
        film_actor2.append(b)

    for i in range(len(film_name1)):
        List.append([film_name1[i],film_actor2[i]])


def PrintList(List):
    tplt = '{0:{2}<20}\t{1:{2}<50}'
    print(tplt.format("电影",'主演、出版社、时间',chr(12288)))    #chr(12288)字符不够所设置的宽度，采用中文字符填充
    for item in List:
        print(tplt.format(item[0], item[1],chr(12288)))

def write_to_file(List):#存取文件，如果不设置路径，自动存储在代码所在的文件夹下
    with open('result.xls','w',encoding='utf-8') as f:
        for i in range(len(List)):
            for j in range(len(List[i])):
                f.write(str(List[i][j]))
                f.write('\t')
            f.write('\n')


def main():
    List=[]
    url="https://book.douban.com/latest?icn=index-latestbook-all"
    html=get_film(url)
    parse_html(html,List)
    PrintList(List)
    write_to_file(List)

main()

爬取结果：
电影　　　　　　　　　　　　　　　　　　 主演、出版社、时间　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
火鸟　　　　　　　　　　　　　　　　　　 [日]手冢治虫/后浪丨北京联合出版公司/2018-10　　　　　　　　　　　　　　　　　　　　　　　
隐剑孤影抄　　　　　　　　　　　　　　　 [日]藤泽周平/译林出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
犹太警察工会　　　　　　　　　　　　　　 [美]迈克尔·夏邦/中信出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　　　　
坚果壳　　　　　　　　　　　　　　　　　 [英]伊恩·麦克尤恩/上海译文出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　
春天　　　　　　　　　　　　　　　　　　 阿乙/四川文艺出版社/2018-8-1　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
崖山　　　　　　　　　　　　　　　　　　 吕玻/后浪丨文化发展出版社/2018-10　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
华龙之宫　　　　　　　　　　　　　　　　 [日]上田早夕里/化学工业出版社/2018-8-1　　　　　　　　　　　　　　　　　　　　　　　　　
推理作家的信条　　　　　　　　　　　　　 王稼骏/新星出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
方岛　　　　　　　　　　　　　　　　　　 金宇澄/上海人民出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
亲爱的陌生人　　　　　　　　　　　　　　 [法]卡米耶·茹尔迪/北京联合出版公司/2018-8-1　　　　　　　　　　　　　　　　　　　　　　
花街往事　　　　　　　　　　　　　　　　 路内/人民文学出版社/2018-8-1　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
斜眼狗　　　　　　　　　　　　　　　　　 [法]艾蒂安·达沃多/后浪丨北京联合出版公司/2018-10　　　　　　　　　　　　　　　　　　　　
天使之触　　　　　　　　　　　　　　　　 [英]乔纳森·莫里斯/新星出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　　　
大问题　　　　　　　　　　　　　　　　　 [美]安德斯·尼尔森/后浪丨北京联合出版公司/2018-10　　　　　　　　　　　　　　　　　　　　
罐头厂街　　　　　　　　　　　　　　　　 [美]约翰·斯坦贝克/人民文学出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　
软刺　　　　　　　　　　　　　　　　　　 [美]艾米丽•福里德伦德/四川文艺出版社/2018-9　　　　　　　　　　　　　　　　　　　　　　　
我们这一代　　　　　　　　　　　　　　　 李昆武编绘/后浪丨湖南美术出版社/2018-10　　　　　　　　　　　　　　　　　　　　　　　　　　
黑地之绘　　　　　　　　　　　　　　　　 [日]松本清张/人民文学出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　　　　
寻找邓巴　　　　　　　　　　　　　　　　 [英]爱德华·圣奥宾/未读·文艺家·北京联合出版公司/2018-9　　　　　　　　　　　　　　　　　
水獭先生的新邻居　　　　　　　　　　　　 李星明/连环画出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
我每天只工作3小时　　　　　　　　　　　 [日]押井守/后浪丨四川人民出版社/2018-10　　　　　　　　　　　　　　　　　　　　　　　　　
宋徽宗　　　　　　　　　　　　　　　　　 [美]伊沛霞/理想国|广西师范大学出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　
料理图鉴　　　　　　　　　　　　　　　　 [日]越智登代子著/平野惠理子绘/后浪丨湖南美术出版社/2018-9　　　　　　　　　　　　　　　　
两个世界的战争　　　　　　　　　　　　　 [美]安东尼·帕戈登(AnthonyPagden)/民主与建设出版社/2018-9　　　　　　　　　
左道　　　　　　　　　　　　　　　　　　 [美]万志英（RichardvonGlahn）/社会科学文献出版社/2018-8　　　　　　　　　　
印度佛教史　　　　　　　　　　　　　　　 [日]平川彰/后浪丨北京联合出版公司/2018-9　　　　　　　　　　　　　　　　　　　　　　　　　
明年更年轻：运动赋能篇　　　　　　　　　 [美]克里斯·克劳利/亨利·洛奇/后浪丨北京联合出版公司/2018-9　　　　　　　　　　　　　　　
空王冠　　　　　　　　　　　　　　　　　 [英]丹·琼斯(DanJones)/社会科学文献出版社/2018-8　　　　　　　　　　　　　　　　
未完的明治维新　　　　　　　　　　　　　 [日]坂野润治/社会科学文献出版社/2018-9　　　　　　　　　　　　　　　　　　　　　　　　　　
独自迈向生命的尽头　　　　　　　　　　　 [奥]让·埃默里/三辉图书/鹭江出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　
自我驱动心理学　　　　　　　　　　　　　 [美]史蒂文•贝格拉斯/STEVENBERGLAS/后浪丨江西人民出版社/2018-9　　　　　　　
精准表达　　　　　　　　　　　　　　　　 [日]高田贵久/后浪丨江西人民出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　
万物并作　　　　　　　　　　　　　　　　 [美]濮德培(PeterC.Perdue)/生活·读书·新知三联书店/2018-8-1　　　　　　　
写作这门手艺　　　　　　　　　　　　　　 [美]约翰·麦克菲/浦睿文化·湖南文艺出版社/2018-9　　　　　　　　　　　　　　　　　　　　　
正午6　　　　　　　　　　　　　　　　　 正午故事/台海出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
韭菜的自我修养　　　　　　　　　　　　　 李笑来/江苏凤凰文艺出版社/2018-9-21　　　　　　　　　　　　　　　　　　　　　　　　　　　
四君主　　　　　　　　　　　　　　　　　 [英]约翰·朱利叶斯·诺威奇/民主与建设出版社/2018-9　　　　　　　　　　　　　　　　　　　　
谁此时孤独　　　　　　　　　　　　　　　 [奥]里尔克/华东师范大学出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　　　　　　
海　　　　　　　　　　　　　　　　　　　 [德]弗兰克·施茨廷/后浪丨四川人民出版社/2018-8　　　　　　　　　　　　　　　　　　　　　　
独抒己见　　　　　　　　　　　　　　　　 [美]纳博科夫/上海译文出版社/2018-9-1