java爬虫系列(三) - WebMagic

WebMagic入门

1. WebMagic

简介
核心部分是一个精简的, 模块化的爬虫实现, 而扩展部分则包括一些遍历的, 使用性的功能

设计目标是尽量的模块化, 并体现爬虫的功能特点, 这部分提供非常简单, 灵活的API, 在基本不改变开发模式的情况下, 编写一个爬虫

扩展部分提供一些便捷的功能, 例如注解模式编写爬虫等, 同时内置了一些常用的组件, 便于爬虫开发

架构
WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，但是实现方式更Java化一些。

而Spider则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心。

WebMagic总体架构图如下：

WebMagic的四个组件

Downloader

Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。

PageProcessor

PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。

在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。

Scheduler

Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。

Pipeline

Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。

Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。

用于数据流传的对象

Request

Request是对URL地址的一层封装，一个Request对应一个URL地址。

它是PageProcessor与Downloader交互的载体，也是PageProcessor控制Downloader唯一方式。

除了URL本身外，它还包含一个Key-Value结构的字段extra。你可以在extra中保存一些特殊的属性，然后在其他地方读取，以完成不同的功能。例如附加上一个页面的一些信息等。

Page

Page代表了从Downloader下载到的一个页面——可能是HTML，也可能是JSON或者其他文本格式的内容。

Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等。

ResultItems

ResultItems相当于一个Map，它保存PageProcessor处理的结果，供Pipeline使用。它的API与Map很类似，值得注意的是它

一个字段skip，若设置为true，则不应被Pipeline处理。

2. HelloWorld

导入pom依赖

<dependencies>
        
        
        <dependency>
            <groupId>us.codecraftgroupId>
            <artifactId>webmagic-coreartifactId>
            <version>0.7.4version>
        dependency>
        
        
        <dependency>
            <groupId>us.codecraftgroupId>
            <artifactId>webmagic-extensionartifactId>
            <version>0.7.4version>
        dependency>
    	
        <dependency>
            <groupId>org.slf4jgroupId>
            <artifactId>slf4j-nopartifactId>
            <version>1.7.6version>
        dependency>
    dependencies>

注意： 0.7.3版本对SSL的并不完全，如果是直接从Maven中央仓库下载依赖，在爬取只支持TLS1.2 v1.2(即只能用https访问)的网站会有SSL的异常抛出, 并且无法爬取到数据。
解决方案:

等作者0.7.4版本的发布(已经更新)

直接从 github 上下载最新的代码, 安装到本地仓库, 也可以参考资料自己修复

加入配置文件

WebMagic内置使用 slf4j-log4j12 作为 slf4j 的实现。

在resources目录添加 log4j.properties 配置文件

log4j.rootLogger=INFO,A1 

log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HHss,SSS} [%t] [%c]-[%p] %m%n

简单的WebMagic案例

实现组件,实现两个方法

public class JobProcessor implements PageProcessor {

    // 解析页面
    //Page pag 发起请求获取的数据
    public void process(Page page) {
        // 解析返回的数据page, 并且把解析的结果放到ResultItems中
        //key=value
        // css表达式 第一种方式
        //page.getHtml();获得html 也就是dom文档
        page.putField("title", page.getHtml().css("title"));

        // XPath 第二种方式 div标签 di=shortcut-2014 下面的div下面的ul一直往下找到a标签
        page.putField("div", page.getHtml().xpath("//div[@id=shortcut-2014]/div/ul/li/div/a/text()"));

        // 正则表达式 第三种方式 所有京东的a 标签
        //all()返回多条数据, get()和toString()返回第一条
        page.putField("a", page.getHtml().css("div#shortcut-2014 a").regex(".*京东.*").all());

    }

    private Site site = Site.me();
    public Site getSite() {
        return site;
    }

    // 主函数, 执行爬虫
    public static void main(String[] args) {
        Spider.create(new JobProcessor())
                //初始访问url地址
                .addUrl("https://kuaibao.jd.com/")
                .run(); // 执行爬虫
    }
}

3. WebMagic 功能

• 抽取元素 Selectable
  • XPath, 使用路径表达式来选取 XML 文档中的节点或节点集
  • CSS选择器 (同jquery选择器用法)
  • 正则表达式, 一般用于获取url地址

ps: 使用方法参考上面案例

Selectable相关的抽取元素链式API是WebMagic的一个核心功能。使用Selectable接口，可以直接完成页面元素的链式抽取，也无需去关心抽取的细节。在刚才的例子中可以看到，page.getHtml()返回的是一个Html对象，它实现了Selectable接口。这个接口包含的方法分为两类：抽取部分和获取结果部分。

获取链接

有了处理页面的逻辑，我们的爬虫就接近完工了，但是现在还有一个问题：一个站点的页面是很多的，一开始我们不可能全部列举出来，于是如何发现后续的链接，是一个爬虫不可缺少的一部分。

public class JobProcessor implements PageProcessor {

    // 解析页面
    public void process(Page page) {
        // 用page的addTargetRequests方法获取链接, 用正则表达式 筛选以2.shtml结尾的链接
        //div下面 .top_newslist类 下以2.shtml结尾的超链接链接
        page.addTargetRequests(page.getHtml().css("div.top_newslist").links().regex(".*2[.]shtml$").all());
        // 再获取链接  addTargetRequests方法得到的响应 .main-title  网页中的主句 ,放入ResultItems
        page.putField("url", page.getHtml().css(".main-title").all());
    }
   //后面详细介绍site
    private Site site = Site.me();
    public Site getSite() {
        return site;
    }

    // 主函数, 执行爬虫
    public static void main(String[] args) {
        Spider.create(new JobProcessor())
                //初始访问url地址, 爬取新浪的推荐新闻
                .addUrl("https://www.sina.com.cn/")
                .run(); // 执行爬虫
    }
}

使用Pipeline保存结果 在site中讲解

WebMagic用于保存结果的组件叫做Pipeline。我们现在通过“控制台输出结果”这件事也是通过一个内置的Pipeline完成的，它叫做ConsolePipeline。那么，我现在想要把结果用保存到文件中，怎么做呢？只将Pipeline的实现换成"FilePipeline"就可以了

Spider

Spider是爬虫启动的入口。在启动爬虫之前，我们需要使用一个PageProcessor创建一个Spider对象，然后使用run()进行启动。

同时Spider的其他组件（Downloader、Scheduler、Pipeline）都可以通过set方法来进行设置

爬虫设置 Site

Site.me()可以对爬虫进行一些配置配置，包括编码、抓取间隔、超时时间、重试次数等。在这里我们可以先简单设置一下：重试次数为3次，抓取间隔为一秒。

public class JobProcessor implements PageProcessor {

    // 解析页面
    public void process(Page page) {
        // 获取链接
        page.addTargetRequests(page.getHtml().css("div.top_newslist").links().regex(".*2[.]shtml$").all());
        page.putField("url", page.getHtml().css("#article").all());
    }

    private Site site = Site.me()
            .setCharset("utf8") // 设置编码
            .setTimeOut(10000) // 设置超时时间, 单位是ms毫秒
            .setRetrySleepTime(3000) // 设置重试的间隔时间
            .setSleepTime(3); // 设置重试次数 
    
    public Site getSite() {
        return site;
    }

    // 主函数, 执行爬虫
    public static void main(String[] args) {
        System.out.println("爬虫正在执行...");
        Spider.create(new JobProcessor())
                // 初始访问url地址
                .addUrl("https://www.sina.com.cn/")
                // 解析的数据设置保存到文件夹,默认输出在控制台
                .addPipeline(new FilePipeline("D:\\ideawork\\src\\main\\resources\\static\\result"))
                .thread(5) // 设置有5个线程处理
                .run(); // 执行爬虫
        System.out.println("爬虫执行完毕");
    }
}

站点本身的一些配置信息，例如编码、HTTP头、超时时间、重试策略等、代理等，都可以通过设置Site对象来进行配置

方法	说明	实例
addHeader(String,String)	添加一条addHeader)	site.addHeader(“Referer”,"https://github.com")

4. 爬虫分类

网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的

通用网络爬虫

通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。

这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。 简单的说就是互联网上抓取所有数据。

聚焦网络爬虫

聚焦网络爬虫（Focused Crawler），又称主题网络爬虫（Topical Crawler），是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫。

和通用网络爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快，还可以很好地满足一些特定人群对特定领域信息的需求 。简单的说就是互联网上只抓取某一种数据。

增量式网络爬虫

增量式网络爬虫（Incremental Web Crawler）是 指 对 已 下 载 网 页 采 取 增量式更新和只爬行新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能新的页面。

和周期性爬行和刷新页面的网络爬虫相比，增量式爬虫只会在需要的时候爬行新产生或发生更新的页面 ，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的复杂度和实现难度。简单的说就是互联网上只抓取刚刚更新的数据。

Deep Web 爬虫

Web 页面按存在方式可以分为表层网页（Surface Web）和深层网页（Deep Web，也称 Invisible Web Pages 或 Hidden Web）。

表层网页是指传统搜索引擎可以索引的页面，以超链接可以到达的静态网页为主构成的 Web 页面。Deep Web 是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词或者登陆后才能获得的 Web 页面。