Python3爬虫学习笔记——xpath练习之爬取起点网玄幻小说排行

这次看完xpath章之后巩固练习

import re
import requests
from lxml import etree
def get_one_page(url):
    headers = {
        'User-Agent':'MOzilla/5.0(Macintosh;Inter Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/65.0.3325.162 Safari/537.36'
    }
    response =requests.get(url,headers=headers)
    if response.status_code == 200:
        return response.text
    return None

html = get_one_page('https://www.qidian.com/finish?chanId=21&action=hidden&orderId=&page=1&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=2')

html = etree.HTML(html)
#result = etree.tostring(html)
#print(result.decode('utf-8'))

#经过多次尝试
#xpath一次只能获取一个属性值，即一次提取

book_href=html.xpath('//div[@class="book-mid-info"]/h4/a/@href')
book_name=html.xpath('//div[@class="book-mid-info"]/h4/a/text()')
author=html.xpath('//div[@class="book-mid-info"]/p//a[@class="name"]/text()')
intro=html.xpath('//div[@class="book-mid-info"]/p[@class="intro"]/text()')

#处理元素删除空位符
for index,i in enumerate(intro):
    intro[index]=i.strip()

''''
print(book_href)
print(author)
print(intro)
print(len(book_href))
'''
#处理数据整合存储到一个list中

data=[]

for i in range(20):
    elmt=[]
    elmt.append(book_href[i])
    elmt.append(book_name[i])
    elmt.append(author[i])
    elmt.append(intro[i])
    data.append(elmt)
    
#print(data)
for index in range(20):
    for e in data[index]:
        print(e,end=' ')
    print('\n')

输出结果如下：

//book.qidian.com/info/1004073922 异世界的美食家 李鸿天 在武者举手可裂山川，甩腿可断长河的玄幻世界中，存在着这样一家小餐馆。小餐馆不大，但却是无数顶尖强者趋之若鹜之地。在那儿你可以品尝到用凤凰蛋和龙血米炒成的蛋炒饭。在那儿你可以喝到生命之泉配朱果酿制的烈酒 

//book.qidian.com/info/1005238666 万界天尊 二次元 天为何物？高高在上，威严莫测，是法则，是戒律，是无情，是冷酷。天意，何也？俯瞰众生，操持风云，褫夺赏罚，随性而为。故，天意不可测，苍天不可近。顺之应之，未必得其利；逆之叛之，福祸却难定。天，禁锢万物如 

//book.qidian.com/info/1115277 斗罗大陆 血红 唐门外门弟子唐三，因偷学内门绝学为唐门所不容，跳崖明志时却发现没有死，反而以另外一个身份来到了另一个世界，一个属于武魂的世界，名叫斗罗大陆。这里没有魔法，没有斗气，没有武术，却有神奇的武魂。这里的每个 

//book.qidian.com/info/3600493 神门 唐家三少 【超人气玄幻】这是一个诡异莫名的世界……山，水，石，花，草，树，木，太阳，月亮，星辰……天地万物都是力量的来源。这里有着前世所有的经典名著，但却有了一个新的名字《道典》！原来看书就能获得力量啊？方正直 

//book.qidian.com/info/1001730574 史上最强师兄 薪意 燕赵歌第一次穿越，穿到了武道文明繁盛至极的异世界，一头撞进包罗万象，遍收天下经典的神宫藏书楼里，但随后便是一场天地大劫，连神宫也破灭了。接下来居然第二次穿越，灵魂来到了同一个世界，不知多少年后的时代。 

//book.qidian.com/info/1209977 斗破苍穹 八月飞鹰 这里是属于斗气的世界，没有花俏艳丽的魔法，有的，仅仅是繁衍到巅峰的斗气！新书等级制度：斗者，斗师，大斗师，斗灵，斗王，斗皇，斗宗，斗尊，斗圣，斗帝。 

//book.qidian.com/info/2952453 完美世界 二次元 一粒尘可填海，一根草斩尽日月星辰，弹指间天翻地覆。群雄并起，万族林立，诸圣争霸，乱天动地。问苍茫大地，谁主沉浮？！一个少年从大荒中走出，一切从这里开始…… 

//book.qidian.com/info/1005053720 穿越诸天当邪神 天蚕土豆 某宅男在玩一款黑暗系18禁养成类galgame时，意外穿越了，还随身带上了这款名为《邪神养成》游戏的面板……邪神的养成，需要他前往诸天位面副本完成黑暗任务，以及达成日常罪恶事件来实现。这是一个志向远大 

//book.qidian.com/info/1009602961 诸天仙武 辰东 龙蛇阳神，大唐双龙，破碎虚空，覆雨翻云，诛仙蜀山，完美遮天，雪中悍刀，风云霹雳，天子神兵，仙剑西游，洪荒封神，仙逆求魔，永生莽荒，吞噬星空……一切因神秘的诸天宝鉴开始。上一世凡人之躯，老迈垂死；这一生 

//book.qidian.com/info/2750457 大主宰 钦定 大千世界，位面交汇，万族林立，群雄荟萃，一位位来自下位面的天之至尊，在这无尽世界，演绎着令人向往的传奇，追求着那主宰之路。无尽火域，炎帝执掌，万火焚苍穹。武境之内，武祖之威，震慑乾坤。西天之殿，百战之 

//book.qidian.com/info/2083259 将夜 二次元 与天斗，其乐无穷。 

//book.qidian.com/info/1003892117 玄门败家子 亘古孤寂2 真命天子，寰宇称雄！他们有至尊老头当老师，神奇异宝随身行，古街捡漏变神兵……“然而这并没有什么卵用。”“外挂再好，一卡撂倒！真命再高，也怕钱烧！”楚天箫打开大败家系统，喃念道：“更何况，连这方大千世界 

//book.qidian.com/info/2048120 武动乾坤 天蚕土豆 修炼一途，乃窃阴阳，夺造化，转涅盘，握生死，掌轮回。武之极，破苍穹，动乾坤！……东方英雄传奇大剧《武动乾坤》8月7日登陆优酷视频和东方卫视周播剧场。由张黎执导，杨洋、张天爱、吴尊、王丽坤领衔主演。 

//book.qidian.com/info/1005015123 异世之召唤文臣猛将 猫腻 新纪元来临，天地异变。地星本土动植物疯狂变异、返祖，异界物种沦落地星，最终新纪元人类诞生一种全新的职业御使。收服怪物，培养怪物，训练怪物，这就是御使。新书《神宠进化》已发布~ 

//book.qidian.com/info/1005031521 星武通神 逆运 玉河星系，物种亿万。有飘浮在虚空可以吞噬战舰的植物，也有大如山脉横渡星河的巨兽。有无边无尽湮灭一切的虫族，也有背生双翅可爱无害的精灵。人类从蓝星走出，建立联邦，依靠古武推广提升身体素质，适应星际环境， 

//book.qidian.com/info/1223147 间客 天蚕土豆 世界上有两件东西能够深深地震撼人们的心灵，一件是我们心中崇高的道德准则，另一件是我们头顶上灿烂的星空——康德当许乐从这行字上收回目光，第一次真正看到尘埃后方那繁若芝麻的群星时，并没有被震撼，相反他怒了 

//book.qidian.com/info/2470949 武极天下 酒池醉 一个梦想进入武府圣地的普通少年，立志追求极致武学。然而面对竞争激烈的考核，又有世家子弟的借势压人，小小平凡少年如何立足？宗门传承严格保密，核心功法概不外传，在功法传承如此难得天衍大陆，即便进了武府和宗 

//book.qidian.com/info/3458639 人道至尊 蒜书 自盘古开天，三皇治世，五帝定伦，世界之间，人为天地灵长……此时正值三皇中的人皇末期，五帝未定，人族也不是天地灵长。这里是莽苍荒蛮的时代，妖神、邪神、天神，诸神林立，妖魔、邪魔、天魔，群魔乱舞；万族并存 

//book.qidian.com/info/63856 神墓 猫腻 一个死去万载岁月的平凡青年从远古神墓中复活而出…… 

//book.qidian.com/info/2407162 武神空间 蚕茧里的牛 叶希文本只是地球上一个普通的大学生，却意外穿越到了一个名为真武界的世界！在这个世界中，强大的武者能翻山倒海，毁天灭地！本是资质平凡的他，因为得到了一个神秘的特殊空间！任何的武学都可以在神秘空间中推演，