Java爬虫框架——WebMagic入门

一:webMagic介绍

利用HttpClient与Jsoup可以帮助我们完成简单的或者规模较小的爬虫案例,但是他俩支撑不起企业级爬虫的开发。今天笔者整理了一款船新版本的爬虫框架——WebMagic,它的底层是由HttpClient与Jsoup结合实现的,它可以帮助我们更加方便快捷的开发爬虫。

WebMagic的设计目标是开发模块化。它分为核心和扩展两部分。核心部分是精简模块化的爬虫实现,而扩展部分是一些便捷的实用的功能。WebMagic结构分为DownLoader(下载)、PageProcessor(处理)、Scheduler(管理)、Pipeline(持久化)四大组件,并由Spider将它们彼此组织起来。Spider相当于一个大容器,是webMagic逻辑的核心。

用于数据流转的三个对象

1.request

request是对URL地址的一层封装,一个Request对象一个URL地址。他是Pageprocessor与Downloader交互的载体,也是PageProcessorr控制Downloader的唯一方式。除了URL本身外,它还包含一个Key-Value结构的字段extra。你可以在extra中保存一些特殊的属性,然后在其他地方读取,以完成不同的功能。例如附加上一个页面的一些信息等。

2.Page

Page代表了从Downloader下载到的一个页面——可能是HTML,也可能是JSON或者其他文本格式的内容。Page是WebMagic抽取过程的核心对象,它提供一些方法可供抽取、结果保存等。

3.resultItems 

ResultItems相当于一个Map,它保存PageProcessor处理的结果,供Pipeline使用。它的API与Map很类似,值得注意的是它有一个字段skip,若设置为true,则不应被Pipeline处理。

二:入门程序

打开idea,创建maven工程,pom.xml中加入webMagic的依赖,webMagic的依赖分为core与extension。


        
            us.codecraft
            webmagic-core
            0.7.3
        

        
            us.codecraft
            webmagic-extension
            0.7.3
        
    

第一个入门程序:我们使用了page对象,代码注释已展示代码含义。

package com.csii.webMagic.test;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class JobProcessor  implements PageProcessor {
    //负责解析页面
    public void process(Page page) {
        //解析返回的数据page,并且把解析的结果放到ResultItems中
        page.putField("div",page.getHtml().css("div.mt h3").all());
    }
      private Site site = Site.me()
            .setCharset("utf8")//设置编码格式
            .setTimeOut(10*1000)//设置超时时间  单位毫秒
            .setRetryTimes(3*1000) //设置重试的间隔时间  毫秒
            .setSleepTime(3)//设置重试次数
            ;
    public Site getSite() {
        return site;
    }

    //main函数
    public static void main(String[] args) {
        Spider.create(new JobProcessor())
                .addUrl("https://wt.jd.com").run();//设置要爬取的页面
    }
}

运行了main方法,我们看到了控制台中打印出:

19-08-27 16:46:09,779 INFO  us.codecraft.webmagic.Spider(Spider.java:306) ## Spider wt.jd.com started!
19-08-27 16:46:10,465 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:86) ## downloading page success https://wt.jd.com
get page: https://wt.jd.com
div:	[

电话卡流量卡

,

京东通信

,

家庭宽带

] 19-08-27 16:46:15,582 INFO us.codecraft.webmagic.Spider(Spider.java:338) ## Spider wt.jd.com closed! 1 pages downloaded. Process finished with exit code 0

ok,以上我们认识并入门了webMagic,良好的开端是成功的一半,想要将海量数据玩弄于鼓掌吗?快动手创建一个webMagic工程吧。

你可能感兴趣的:(爬虫,Java)