Java网络爬虫实操（2）

上一篇： Java网络爬虫实操（1）

本篇文章继续介绍爬虫框架NetDiscovery的使用：如何发重复请求、如何用爬虫容器引擎驱动爬虫程序

1 ）重复请求的场景举例

从2017年下半年开始，比特币、数字货币、虚拟币、区块链技术、去中心化等等新名词频频出现在媒体上，让人不想看到都很难
（本篇文章不研究数字货币是不是未来的发展方向）
风险提示：炒币有风险，入市需谨慎

数据货币信息平台

找了一个数字货币的聚合信息平台，上面会定时刷新每种货币的价格。如果要写一个有实际价值的抓数据程序，那肯定希望这个程序能重复执行抓数据的动作吧。

目标任务：每隔一段时间去获取这个页面上的数字货币【EOS】的价格信息

一种数字货币的价格信息

2 ）代码实现

• 解析类

package com.sinkinka.parser;

import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.parser.Parser;

public class EosParser implements Parser {

   @Override
   public void process(Page page) {

       String xpathStr = "//div[@class='coinprice']/text()";
       String marketPrice = page.getHtml().xpath(xpathStr).get();
       System.out.println("marketPrice=" + marketPrice);

   }
}

• 执行方法

package com.sinkinka;

import com.cv4j.netdiscovery.core.Spider;
import com.cv4j.netdiscovery.extra.downloader.httpclient.HttpClientDownloader;
import com.sinkinka.parser.EosParser;

public class EosSpider {

    public static void main(String[] args) {

        String eosUrl = "https://www.feixiaohao.com/currencies/eos/";

        long periodTime = 1000 * 600;

        Spider.create()
                .name("EOS")
                .repeatRequest(periodTime, eosUrl)、
 //下面这行代码要注意，要设置>=periodTime，想了解具体作用，可以去分析源代码
                .initialDelay(periodTime) 
                .parser(new EosParser())
                .downloader(new HttpClientDownloader())
                .run();
    }
}

• 执行结果

  
  
  

  演示数据

3 ）爬虫容器引擎

数字货币有几百上千种，每种货币信息都在单独的页面上，如果要同时获取多种数字货币的信息，怎么处理？

依赖框架，有一种实现方法是：给每种数字货币定义一个爬虫程序，然后把爬虫程序放到容器里，统一交给爬虫引擎去驱动。

代码示例：

package com.sinkinka;

import com.cv4j.netdiscovery.core.Spider;
import com.cv4j.netdiscovery.core.SpiderEngine;
import com.cv4j.netdiscovery.extra.downloader.httpclient.HttpClientDownloader;
import com.sinkinka.parser.EosParser;

public class TestSpiderEngine {

    public static void main(String[] args) {
        //爬虫容器引擎
        SpiderEngine engine = SpiderEngine.create();

        //爬虫程序1
        String eosUrl = "https://www.feixiaohao.com/currencies/eos/";
        long periodTime1 = 1000 * 5;
        Spider spider1 = Spider.create()
                .name("EOS")
                .repeatRequest(periodTime1, eosUrl)
                .parser(new EosParser())
                .downloader(new HttpClientDownloader())
                .initialDelay(periodTime1);

        engine.addSpider(spider1);

        //可以增加多个爬虫到容器中,
//        engine.addSpider(spider2);
//        ......

        engine.httpd(8088);     //这一行要注意，通过接口可以获取访问爬虫容器内的状态
        engine.runWithRepeat();
    }
}

访问容器状态：
接口地址：http://127.0.0.1:8088/netdiscovery/spiders
返回的内容：

{
    "code":200,
    "data":[
        {
            "downloaderType":"HttpClientDownloader",   //用的哪个下载器
            "leftRequestSize":0,                       //队列中还剩的request数量
            "queueType":"DefaultQueue",                //队列类型：jdk(DefaultQueue)、redis、kafka
            "spiderName":"EOS",                        //爬虫的名字，在引擎里唯一
            "spiderStatus":1,                          //1:运行  2：暂停  4：停止
            "totalRequestSize":1                       //加入到队列中的request总数量，减去上面的leftRequestSize，等于该爬虫已经完成的重复请求次数
        }
    ],
    "message":"success"
}

4 ）总结

本篇简单介绍了NetDiscovery中发重复请求这个功能。这就是框架的价值，如果不用框架，自己再去实现的话，要多写一些代码的。
爬虫引擎还有很多功能，敬请期待。

---

今天是西方情人节，祝天下有情人节日快乐！
祝大家身体健康、家庭和睦、工作顺利！

下一篇：Java网络爬虫实操（3）