Python之dmzj漫画搜索爬虫（一）

Hello，大家好。作为新人，热爱coding，于是我们就来写个爬虫吧。
动漫之家作为国内有名的漫画网站，我个人挺喜欢在上面看动漫的，所以，闲暇之余就写了这个爬虫，作为一个实战，希望学爬虫的人有个很好的开端。
本代码使用Python进行书写。

---

分析页面

首先，我们用Chrome打开动漫之家的全部漫画页面，然后打开F12进行Debug调试。

dmzj搜索

由于我们写的爬虫为搜索爬虫，即有筛选性质的选择爬虫。因此，摆在我们面前的第一件事就是分析搜索的功能实现。

1. 输入关键字并点击搜索
2. post关键字到服务器并处理请求
3. 返回搜索的结果并渲染页面
   正如上述分析的过程，我们最主要的就是跟踪post的请求过程。这里就借助于Chrome的Debug开发工具，然后根据过程来尝试分析一下post请求。

post捕获

可以看出Chrome捕获了post请求的过程，然后我们可以清楚的看到当我们点击搜索时候请求的URL链接地址。所以，我们爬虫的第一次请求post向这个URL。
接着我们继续分析，将红框的内容往下拉，可以看到一堆请求和影响的Headers信息，以及我们post的参数内容信息。

post 参数

可以看到它的参数组成为键值对类型，具体写成:
{"keywords": "第一次的Gal"}
瞧完了post的请求过程之后，我们就可以来分析一下响应的内容。我们点击Response Tab页面，可以看出响应的内容为一个完整的HTML页面。

response页面

由于我们的最终目的是爬取我们搜索的漫画内容，因此，在获取搜索的响应之后，我们需要继续进行Deep爬取。

具体页面内容

我们看到了搜索的结果仅有一部漫画，所以我们可以来获取它的Deep链接。右键点击“检查”，可以跳转到当前的页面的DOM节点。

检查DOM

通过右侧的dom节点观察，当前的漫画对应的详情页的URL为a标签的href属性。当然除此之外，还可以提取出漫画名、作者、最新更新状态等。

---

代码

因为Python强大的库资源，这里将借助Python的方便的requests库进行代码的书写。

# -*- coding: utf-8 -*-

import requests
import json
from lxml import etree
import click

SEARCH_URL = 'https://www.dmzj.com/dynamic/o_search/index'


def post_request(keywords):
    response = requests.post(SEARCH_URL, data={"keywords": str(keywords)})
    try:
        html = etree.HTML(response.content)
        ul_tags = html.xpath('//ul[@class="update_con autoHeight"]/li')
        res = []
        item = {}
        for li_tag in ul_tags:
            item['name'] = li_tag.xpath('./a/@title')[0]
            item['url'] = li_tag.xpath('./a/@href')[0]
            item['cover'] = li_tag.xpath('./a/img/@src')
            item['author'] = li_tag.xpath('//p[@class="auth"]/text()')[0]
            item['status'] = li_tag.xpath('//p[@class="newPage"]/text()')[0]
            click.echo(json.dumps(item, ensure_ascii=False))
    except Exception as e:
        raise e

if __name__ == '__main__':
    inputs = click.prompt("输入搜索的漫画名称", type=str)
    post_request(inputs)

此处应用的库主要为click、requests、lxml
采用的DOM分析形式为Xpath，所有的Python库均使用pip安装

谢谢大家了，这是第一次在写文章，希望大家支持，下一篇将进一步往Deep分析。这些代码之后会在Github上放置，欢迎大家来查看！

下一篇文章