Python爬虫爬取腾讯视频动漫专区的动漫及其描述

Python爬虫爬取腾讯视频动漫专区的动漫及其描述

闲来无事爬点动漫资讯看看

下面这个是腾讯视频动漫板块的超链接
[https://v.qq.com/channel/cartoon?listpage=1&channel=cartoon&iarea=1]
Python爬虫爬取腾讯视频动漫专区的动漫及其描述_第1张图片
上面的红框中第一个是动漫的标题,第二个是动漫的咨询简单描述

如何用Python爬取上述信息

首先要用浏览器的开发者工具查到相应的信息实在那几个html文件中Python爬虫爬取腾讯视频动漫专区的动漫及其描述_第2张图片

上面的红框中就是对应的标签,但我们用正则表达式取标签的时候应该尽量取它的上一层标签(因为如果单单取名字标签,很难把对应的描述最后对应起来

之后就开始代码的编写了

# -*- coding: utf-8 -*-
# @Time    : 2019/3/25 17:26
# @Author  : 
# @Email   : 
# @File    : .py
# @Software: PyCharm

import urllib.request
import re
from lxml import etree


def cartoonCrawler(url):
    headers = {
        "User-Agnet": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER"
    }
    req = urllib.request.Request(url, headers = headers)
    response = urllib.request.urlopen(req)
    HTML = response.read().decode("utf-8")

    # re.S匹配换行符
    cartoon1 = re.compile(r'
(.+?)
',re.S).findall(HTML) # print(cartoon1) dictCartoon = {} for i in cartoon1: # 将字符串转化为文本形式 i=etree.HTML(i) # 关于xpath的详见https://blog.csdn.net/it_arookie/article/details/82825448 name = i.xpath("//a[@class='figure_title figure_title_two_row bold']/@title") title = i.xpath("//div[@class='figure_desc']/@title") # 将匹配的不同标签的字典用字典的形式来组合成键值对 dictCartoon[name[0]]=title[0] return dictCartoon url = "https://v.qq.com/channel/cartoon?listpage=1&channel=cartoon&iarea=1" info = cartoonCrawler(url) print(info) for k,v in info.items(): print("标题:",k," 描述:"+v)

结果,最后还可以通过动态请求继续获取的请求 ,这个下次再说


{'斗罗大陆': '此生不悔入唐门', '狐妖小红娘': '鞘笛不离 至死不渝', '武动乾坤': '武之极,破苍穹,动乾坤', '灵剑尊': '落魄少主闯荡大陆,天地三界,我为至尊!', '雄兵连之诸天降临': '抗击外星入侵', '万界神主': '陨落古神,遨游苍蓝', '雪鹰领主': '超凡守护 热“雪”来袭', '魔道祖师': '仙门少年为民除害斩邪祟', '通灵妃': '年度鬼畜爱情大戏', '画江湖之不良人 第3季': '王者弈天下 大唐生死局', '猫妖的诱惑 正式版': '自古爱恨两难,当然是插他两刀', '巨兵长城传 第1季': '一场关乎世界安危的冒险', '狠西游 第2季': '18年12月 绝境重生!', '地灵曲': '3D动画版鬼吹灯', '斗破苍穹 第2季': '萧炎归来 风云再起', '全职高手': '十年热血书写电竞辉煌', '武庚纪 第2季': '商朝王子武庚逆袭记', '妖神记之影妖篇': '聂离融合妖灵迅速成长', '一人之下 第2季': '风起云涌罗天大醮', '斗罗大陆2 绝世唐门 动态漫画': '唐三之后,斗罗大陆新星降临。', '非人哉': '神仙妖怪的爆笑日常', '星辰变 第1季': '少年逆天改命成王', '超神学院之雄兵连': '世纪大战一触即发', '天行九歌': '超高颜值的权谋史诗', '刺客伍六七': '神秘美少女的遗愿清单', '万界仙踪': '少年掌门人 背负血海深仇', '全职法师 第3季': '法师集结,决战狂魔', '斗破苍穹 特别篇': '9月30日萧炎上线!', '动态漫画·驸马不要啊': '霸道公主驯服花花公子', '妖神记 第2季': '成为最强妖灵师'}
标题: 斗罗大陆   描述:此生不悔入唐门
标题: 狐妖小红娘   描述:鞘笛不离 至死不渝
标题: 武动乾坤   描述:武之极,破苍穹,动乾坤
标题: 灵剑尊   描述:落魄少主闯荡大陆,天地三界,我为至尊!
标题: 雄兵连之诸天降临   描述:抗击外星入侵
标题: 万界神主   描述:陨落古神,遨游苍蓝
标题: 雪鹰领主   描述:超凡守护 热“雪”来袭
标题: 魔道祖师   描述:仙门少年为民除害斩邪祟
标题: 通灵妃   描述:年度鬼畜爱情大戏
标题: 画江湖之不良人 第3季   描述:王者弈天下 大唐生死局
标题: 猫妖的诱惑 正式版   描述:自古爱恨两难,当然是插他两刀
标题: 巨兵长城传 第1季   描述:一场关乎世界安危的冒险
标题: 狠西游 第2季   描述:18年12月 绝境重生!
标题: 地灵曲   描述:3D动画版鬼吹灯
标题: 斗破苍穹 第2季   描述:萧炎归来 风云再起
标题: 全职高手   描述:十年热血书写电竞辉煌
标题: 武庚纪 第2季   描述:商朝王子武庚逆袭记
标题: 妖神记之影妖篇   描述:聂离融合妖灵迅速成长
标题: 一人之下 第2季   描述:风起云涌罗天大醮
标题: 斗罗大陆2 绝世唐门 动态漫画   描述:唐三之后,斗罗大陆新星降临。
标题: 非人哉   描述:神仙妖怪的爆笑日常
标题: 星辰变 第1季   描述:少年逆天改命成王
标题: 超神学院之雄兵连   描述:世纪大战一触即发
标题: 天行九歌   描述:超高颜值的权谋史诗
标题: 刺客伍六七   描述:神秘美少女的遗愿清单
标题: 万界仙踪   描述:少年掌门人 背负血海深仇
标题: 全职法师 第3季   描述:法师集结,决战狂魔
标题: 斗破苍穹 特别篇   描述:9月30日萧炎上线!
标题: 动态漫画·驸马不要啊   描述:霸道公主驯服花花公子
标题: 妖神记 第2季   描述:成为最强妖灵师`





你可能感兴趣的:(Python,爬虫)