30行js爬取顶点全网任意小说

之前连续多篇文章介绍客户端爬取平台(dspider)，今天我们从零开始，实现爬取顶点小说网任意一本小说的功能。

如果你还不知道客户端爬取，可以先看下我的前几篇博客：

爬虫技术( 一) 一篇文章了解爬虫技术现状

爬虫技术(二) 客户端爬虫

爬虫技术(三)－客户端爬取Android SDK发布

客户端爬虫 ios sdk 发布了！

客户端爬取－答网友问

DSpider简介

集成sdk

dspider官方网站有详细的集成文档, 并提供了demo, 我们本节的示例基于该demo开始，请先下载相应平台的demo(github),下面是集成文档：

ios： https://dspider.dtworkroom.com/document/ios

android: https://dspider.dtworkroom.com/document/android

如何集成、爬取文章中很详细，下面我们主要看一下如何写爬取脚本

编写爬取脚本

分析网页

由于我们爬取的手机版网站，打开顶点小说主页 http://m.23us.com/ ，为了简单起见，我们在进入具体小说的目录页后就开始爬取。下面以《择天记》为例：
介绍页url:http://m.23us.com/book/52234
我们提取特征字符串“／book／”。
**目录页url: **http://m.23us.com/html/52/52234/
我们提取小说目录页url特征"html/数字／数字／"。

那么基本的爬取流程如下：

//我们将小说标题作为sessionKey
var sessionKey="小说标题"
dSpider(sessionKey, function(session,env,$){
    //在介绍页
    if(location.href.indexOf("/book/")!=-1){
       //添加爬取按钮
    }else if(/.+html\/\d+\/\d+\/$/.test(location.href)) {  
      //目录页自动开始爬取
    ｝
})

dSpider为脚本爬取的入口函数，类似于c里面的main函数，详细的请移步dspider javascript api文档。

介绍页添加爬取按钮

为了启动爬取，我们在介绍页添加一个爬取按钮，原来的介绍页如下：

介绍页.png

因为在进入目录页会自动爬取，所以我们只需要将进入章节目录的按钮文字变一下，同时为了醒目，背景换成绿色。

修改后的介绍页.png

具体代码：

$(".more a").text("爬取本书").css("background","#1ca72b");

目录页爬取

在目录页我们获取所有章节的url。
```
var list = $(".chapter li a");
```

然后通过ajax请求每一个url，获取数据并解析

 $.get(e.attr("href")).done(function (data) {
                //获取章节名
                var text = e.text().trim() + "\r\n";
                //获取正文，进行格式处理
                text+= $(data).find("#txt").html()
                       .replace(/ /g,"  ").replace(/
/g,"\n")+"\r\n";
                //将数据传递给端
                session.push(text)
 })

在爬取的时候，我们输出进度消息给端，完整的代码如下：

var sessionKey=dQuery(".index_block h1").text()
dSpider(sessionKey, function(session,env,$){
    if(location.href.indexOf("/book/")!=-1){
        $(".more a").text("爬取本书").css("background","#1ca72b");
    }else if(/.+html\/\d+\/\d+\/$/.test(location.href)) {
        log(sessionKey)
        var list = $(".chapter li a");
        session.showProgress();
        session.setProgressMax(list.length);
        var curIndex = 0
        function getText() {
            var e = list.eq(list.length-curIndex-1);
            $.get(e.attr("href")).done(function (data) {
                var text = e.text().trim() + "\r\n";
                text+= $(data).find("#txt").html()
                    .replace(/ /g," ").replace(/
/g,"\n")+"\r\n";
                session.push(text)
            }).always(function () {
                if (++curIndex < list.length) {
                    session.setProgress(curIndex);
                    session.setProgressMsg("正在爬取《"+sessionKey+"》 "+e.text())
                    getText();
                } else {
                    session.setProgress(curIndex);
                    session.finish();
                }
            })
        }
        getText()
    }
})

怎么样，简单强大吧！

我们看看运行效果：

Screenshot_20170330-165659.png

爬取成功后，我将数据保存在txt中，然后用qq阅读打开

正文

集成注意事项

下载的demo默认的包名是：wendu.dspiderdemo, appid是5，这是官方账号下的app。如果你要换包名，需要在后台先创建应用，创建好之后获得appid, 将sdk初始化时的appid换成你自己的appid，然后在爬虫商店找到“顶点小说”，然后将它添加到你的应用，这一步很重要，否则你的应用就没有执行该爬虫的权限。我们在“顶点小说”详情页获取其id(12),然后在demo中将sid换成12就可以了。爬取的结果可以自己拼接保存在txt中。