Python3爬虫学习笔记——xpath练习之爬取起点网玄幻小说排行

这次看完xpath章之后巩固练习

import re
import requests
from lxml import etree
def get_one_page(url):
    headers = {
        'User-Agent':'MOzilla/5.0(Macintosh;Inter Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/65.0.3325.162 Safari/537.36'
    }
    response =requests.get(url,headers=headers)
    if response.status_code == 200:
        return response.text
    return None

html = get_one_page('https://www.qidian.com/finish?chanId=21&action=hidden&orderId=&page=1&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=2')

html = etree.HTML(html)
#result = etree.tostring(html)
#print(result.decode('utf-8'))

#经过多次尝试
#xpath一次只能获取一个属性值,即一次提取

book_href=html.xpath('//div[@class="book-mid-info"]/h4/a/@href')
book_name=html.xpath('//div[@class="book-mid-info"]/h4/a/text()')
author=html.xpath('//div[@class="book-mid-info"]/p//a[@class="name"]/text()')
intro=html.xpath('//div[@class="book-mid-info"]/p[@class="intro"]/text()')

#处理元素删除空位符
for index,i in enumerate(intro):
    intro[index]=i.strip()

''''
print(book_href)
print(author)
print(intro)
print(len(book_href))
'''
#处理数据整合存储到一个list中

data=[]

for i in range(20):
    elmt=[]
    elmt.append(book_href[i])
    elmt.append(book_name[i])
    elmt.append(author[i])
    elmt.append(intro[i])
    data.append(elmt)
    
#print(data)
for index in range(20):
    for e in data[index]:
        print(e,end=' ')
    print('\n')

输出结果如下:

//book.qidian.com/info/1004073922 异世界的美食家 李鸿天 在武者举手可裂山川,甩腿可断长河的玄幻世界中,存在着这样一家小餐馆。小餐馆不大,但却是无数顶尖强者趋之若鹜之地。在那儿你可以品尝到用凤凰蛋和龙血米炒成的蛋炒饭。在那儿你可以喝到生命之泉配朱果酿制的烈酒 

//book.qidian.com/info/1005238666 万界天尊 二次元 天为何物?高高在上,威严莫测,是法则,是戒律,是无情,是冷酷。天意,何也?俯瞰众生,操持风云,褫夺赏罚,随性而为。故,天意不可测,苍天不可近。顺之应之,未必得其利;逆之叛之,福祸却难定。天,禁锢万物如 

//book.qidian.com/info/1115277 斗罗大陆 血红 唐门外门弟子唐三,因偷学内门绝学为唐门所不容,跳崖明志时却发现没有死,反而以另外一个身份来到了另一个世界,一个属于武魂的世界,名叫斗罗大陆。这里没有魔法,没有斗气,没有武术,却有神奇的武魂。这里的每个 

//book.qidian.com/info/3600493 神门 唐家三少 【超人气玄幻】这是一个诡异莫名的世界……山,水,石,花,草,树,木,太阳,月亮,星辰……天地万物都是力量的来源。这里有着前世所有的经典名著,但却有了一个新的名字《道典》!原来看书就能获得力量啊?方正直 

//book.qidian.com/info/1001730574 史上最强师兄 薪意 燕赵歌第一次穿越,穿到了武道文明繁盛至极的异世界,一头撞进包罗万象,遍收天下经典的神宫藏书楼里,但随后便是一场天地大劫,连神宫也破灭了。接下来居然第二次穿越,灵魂来到了同一个世界,不知多少年后的时代。 

//book.qidian.com/info/1209977 斗破苍穹 八月飞鹰 这里是属于斗气的世界,没有花俏艳丽的魔法,有的,仅仅是繁衍到巅峰的斗气!新书等级制度:斗者,斗师,大斗师,斗灵,斗王,斗皇,斗宗,斗尊,斗圣,斗帝。 

//book.qidian.com/info/2952453 完美世界 二次元 一粒尘可填海,一根草斩尽日月星辰,弹指间天翻地覆。群雄并起,万族林立,诸圣争霸,乱天动地。问苍茫大地,谁主沉浮?!一个少年从大荒中走出,一切从这里开始…… 

//book.qidian.com/info/1005053720 穿越诸天当邪神 天蚕土豆 某宅男在玩一款黑暗系18禁养成类galgame时,意外穿越了,还随身带上了这款名为《邪神养成》游戏的面板……邪神的养成,需要他前往诸天位面副本完成黑暗任务,以及达成日常罪恶事件来实现。这是一个志向远大 

//book.qidian.com/info/1009602961 诸天仙武 辰东 龙蛇阳神,大唐双龙,破碎虚空,覆雨翻云,诛仙蜀山,完美遮天,雪中悍刀,风云霹雳,天子神兵,仙剑西游,洪荒封神,仙逆求魔,永生莽荒,吞噬星空……一切因神秘的诸天宝鉴开始。上一世凡人之躯,老迈垂死;这一生 

//book.qidian.com/info/2750457 大主宰 钦定 大千世界,位面交汇,万族林立,群雄荟萃,一位位来自下位面的天之至尊,在这无尽世界,演绎着令人向往的传奇,追求着那主宰之路。无尽火域,炎帝执掌,万火焚苍穹。武境之内,武祖之威,震慑乾坤。西天之殿,百战之 

//book.qidian.com/info/2083259 将夜 二次元 与天斗,其乐无穷。 

//book.qidian.com/info/1003892117 玄门败家子 亘古孤寂2 真命天子,寰宇称雄!他们有至尊老头当老师,神奇异宝随身行,古街捡漏变神兵……“然而这并没有什么卵用。”“外挂再好,一卡撂倒!真命再高,也怕钱烧!”楚天箫打开大败家系统,喃念道:“更何况,连这方大千世界 

//book.qidian.com/info/2048120 武动乾坤 天蚕土豆 修炼一途,乃窃阴阳,夺造化,转涅盘,握生死,掌轮回。武之极,破苍穹,动乾坤!……东方英雄传奇大剧《武动乾坤》8月7日登陆优酷视频和东方卫视周播剧场。由张黎执导,杨洋、张天爱、吴尊、王丽坤领衔主演。 

//book.qidian.com/info/1005015123 异世之召唤文臣猛将 猫腻 新纪元来临,天地异变。地星本土动植物疯狂变异、返祖,异界物种沦落地星,最终新纪元人类诞生一种全新的职业御使。收服怪物,培养怪物,训练怪物,这就是御使。新书《神宠进化》已发布~ 

//book.qidian.com/info/1005031521 星武通神 逆运 玉河星系,物种亿万。有飘浮在虚空可以吞噬战舰的植物,也有大如山脉横渡星河的巨兽。有无边无尽湮灭一切的虫族,也有背生双翅可爱无害的精灵。人类从蓝星走出,建立联邦,依靠古武推广提升身体素质,适应星际环境, 

//book.qidian.com/info/1223147 间客 天蚕土豆 世界上有两件东西能够深深地震撼人们的心灵,一件是我们心中崇高的道德准则,另一件是我们头顶上灿烂的星空——康德当许乐从这行字上收回目光,第一次真正看到尘埃后方那繁若芝麻的群星时,并没有被震撼,相反他怒了 

//book.qidian.com/info/2470949 武极天下 酒池醉 一个梦想进入武府圣地的普通少年,立志追求极致武学。然而面对竞争激烈的考核,又有世家子弟的借势压人,小小平凡少年如何立足?宗门传承严格保密,核心功法概不外传,在功法传承如此难得天衍大陆,即便进了武府和宗 

//book.qidian.com/info/3458639 人道至尊 蒜书 自盘古开天,三皇治世,五帝定伦,世界之间,人为天地灵长……此时正值三皇中的人皇末期,五帝未定,人族也不是天地灵长。这里是莽苍荒蛮的时代,妖神、邪神、天神,诸神林立,妖魔、邪魔、天魔,群魔乱舞;万族并存 

//book.qidian.com/info/63856 神墓 猫腻 一个死去万载岁月的平凡青年从远古神墓中复活而出…… 

//book.qidian.com/info/2407162 武神空间 蚕茧里的牛 叶希文本只是地球上一个普通的大学生,却意外穿越到了一个名为真武界的世界!在这个世界中,强大的武者能翻山倒海,毁天灭地!本是资质平凡的他,因为得到了一个神秘的特殊空间!任何的武学都可以在神秘空间中推演, 

 

你可能感兴趣的:(Python3爬虫学习笔记——xpath练习之爬取起点网玄幻小说排行)