WebMagic爬虫框架

WebMagic架构介绍

• WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，但是实现方式更Java化一些。
• Spider则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心。
• WebMagic总体架构图如下：
  

WebMagic的四个组件

1. Downloader
   Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。

2. PageProcessor
   PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。
   在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。

3. Scheduler
   Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。

4. Pipeline
   Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。

   Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。

用于数据流转的对象

1. Request
   Request是对URL地址的一层封装，一个Request对应一个URL地址。

   它是PageProcessor与Downloader交互的载体，也是PageProcessor控制Downloader唯一方式。

   除了URL本身外，它还包含一个Key-Value结构的字段extra。你可以在extra中保存一些特殊的属性，然后在其他地方读取，以完成不同的功能。例如附加上一个页面的一些信息等。

2. Page
   Page代表了从Downloader下载到的一个页面——可能是HTML，也可能是JSON或者其他文本格式的内容。

   Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等。

3. ResultItems
   ResultItems相当于一个Map，它保存PageProcessor处理的结果，供Pipeline使用。它的API与Map很类似，值得注意的是它有一个字段skip，若设置为true，则不应被Pipeline处理。

入门案例

• 代码：

public class JobProccessor implements PageProcessor {
     
    //解析页面
    public void process(Page page) {
     
        //解析返回的数据page，并自动把解析的结果放到ResultItems中
        page.putField("info",page.getHtml().css("ul.list").all());
    }

    private Site site = Site.me();
    public Site getSite() {
     
        return site;
    }

    //主函数，执行爬虫
    public static void main(String[] args) {
     
        Spider.create(new JobProccessor())
                .addUrl("https://www.qq.com/")//设置爬取的页面
                .run();//执行爬虫
    }
}

• 爬取结果
  

WebMagic功能

实现PageProcessor

• 抽取元素Selectable

  • WebMagic里主要使用了三种抽取技术：XPath、正则表达式和CSS选择器。另外，对于JSON格式的内容，可使用JsonPath进行解析。

  1. XPath
     以上是获取属性class=mt的div标签，里面的h1标签的内容：page.getHtml().xpath("//div[@class=mt]/h1/text()")
     也可以参考课堂资料的W3School离线手册

  2. CSS选择器
     CSS选择器是与XPath类似的语言。在上一次的课程中，我们已经学习过了Jsoup的选择器，它比XPath写起来要简单一些，但是如果写复杂一点的抽取规则，就相对要麻烦一点。
     div.mt>h1表示class为mt的div标签下的直接子元素h1标签：page.getHtml().css("div.mt>h1").toString()
     可是使用:nth-child(n)选择第几个元素，如下选择第一个元素：page.getHtml().css("div#news_div > ul > li:nth-child(1) a").toString()
     注意：需要使用>，就是直接子元素才可以选择第几个元素

  3. 正则表达式
     正则表达式则是一种通用的文本抽取语言。在这里一般用于获取url地址。
     正则表达式学习难度要大一些，大家可以参考资料

• 抽取元素API

  • Selectable相关的抽取元素链式API是WebMagic的一个核心功能。使用Selectable接口，可以直接完成页面元素的链式抽取，也无需去关心抽取的细节。
  • 在刚才的例子中可以看到，page.getHtml()返回的是一个Html对象，它实现了Selectable接口。这个接口包含的方法分为两类：抽取部分和获取结果部分。
    方法 说明 示例

方法	功能	语法
xpath(String xpath)	使用XPath选择	html.xpath("//div[@class=‘title’]")
$(String selector)	使用Css选择器选择	html.$(“div.title”)
$(String selector,String attr)	使用Css选择器选择	html.$(“div.title”,“text”)
css(String selector)	功能同$()，使用Css选择器选择	html.css(“div.title”)
links()	选择所有链接	html.links()
regex(String regex)	使用正则表达式抽取	html.regex("(.*?)")

• 这部分抽取API返回的都是一个Selectable接口，意思是说，是支持链式调用的。例如访问https://www.jd.com/moreSubject.aspx页面
  

//先获取class为news_div的div
//再获取里面的所有包含文明的元素
List<String> list = page.getHtml().css("div#news_div").regex(".*文明.*").all();

• 获取结果API
  • 当链式调用结束时，我们一般都想要拿到一个字符串类型的结果。这时候就需要用到获取结果的API了。
  • 我们知道，一条抽取规则，无论是XPath、CSS选择器或者正则表达式，总有可能抽取到多条元素。WebMagic对这些进行了统一，可以通过不同的API获取到一个或者多个元素。

方法	说明	示例
get()	返回一条String类型的结果	String link= html.links().get()
toString()	同get()，返回一条String类型的结果	String link= html.links().toString()
all()	返回所有抽取结果	List links= html.links().all()

• 获取链接
  • 有了处理页面的逻辑，我们的爬虫就接近完工了，但是现在还有一个问题：一个站点的页面是很多的，一开始我们不可能全部列举出来，于是如何发现后续的链接，是一个爬虫不可缺少的一部分。
  • 下面的例子就是获取https://www.jd.com/moreSubject.aspx这个页面中
    所有符合https://www.jd.com/news.\w+?.*正则表达式的url地址，并将这些链接加入到待抓取的队列中去。

public void process(Page page) {
     
    page.addTargetRequests(page.getHtml().links()
            .regex("(https://www.jd.com/news.\\w+?.*)").all());
    System.out.println(page.getHtml().css("div.mt>h1").all());
}

public static void main(String[] args) {
     
    Spider.create(new JobProcessor())
            .addUrl("https://www.jd.com/moreSubject.aspx")
            .run();
}

使用Pipeline保存结果

• WebMagic用于保存结果的组件叫做Pipeline。我们现在通过“控制台输出结果”这件事也是通过一个内置的Pipeline完成的，它叫做ConsolePipeline，它是默认的处理结果。

• 那么，我现在想要把结果用保存到文件中，怎么做呢？只将Pipeline的实现换成"FilePipeline"就可以了。

public class JobProccessor implements PageProcessor {
     
    //解析页面
    public void process(Page page) {
     
        //解析返回的数据page，并自动把解析的结果放到ResultItems中
        page.putField("info",page.getHtml().css("ul.list").all());
    }

    private Site site = Site.me();
    public Site getSite() {
     
        return site;
    }

    //主函数，执行爬虫
    public static void main(String[] args) {
     
        Spider.create(new JobProccessor())
                .addUrl("https://www.qq.com/")//设置爬取的页面
                .addPipeline(new FilePipeline("C:\\Users\\fy\\Desktop\\crawl"))
                .thread(5)
                .run();//执行爬虫
    }
}

• 结果
  • 保存结果的文件夹
    
  • 生成的爬取结果HTML文件
    
  • 打开爬取的文件
    
• 不得不说，实在太方便

爬虫的配置、启动和终止

• Spider

  • Spider是爬虫启动的入口。在启动爬虫之前，我们需要使用一个PageProcessor创建一个Spider对象，然后使用run()进行启动。

  • 同时Spider的其他组件（Downloader、Scheduler、Pipeline）都可以通过set方法来进行设置。

• 爬虫配置Site

  • Site.me()可以对爬虫进行一些配置配置，包括编码、抓取间隔、超时时间、重试次数等。在这里我们先简单设置一下：重试次数为3次，抓取间隔为一秒。

private Site site = Site.me()
        .setCharset("UTF-8")//编码
        .setSleepTime(1)//抓取间隔时间
        .setTimeOut(1000*10)//超时时间
        .setRetrySleepTime(3000)//重试时间
        .setRetryTimes(3);//重试次数

• 站点本身的一些配置信息，例如编码、HTTP头、超时时间、重试策略等、代理等，都可以通过设置Site对象来进行配置。

爬重分类

1. 通用网络爬虫
   通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。
   这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。
   简单的说就是互联网上抓取所有数据。

2. 聚焦网络爬虫
   聚焦网络爬虫（Focused Crawler），又称主题网络爬虫（Topical Crawler），是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫。
   和通用网络爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快，还可以很好地满足一些特定人群对特定领域信息的需求 。
   简单的说就是互联网上只抓取某一种数据。

3. 增量式网络爬虫
   增量式网络爬虫（Incremental Web Crawler）是指对已下载网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能新的页面。
   和周期性爬行和刷新页面的网络爬虫相比，增量式爬虫只会在需要的时候爬行新产生或发生更新的页面 ，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的复杂度和实现难度。
   简单的说就是互联网上只抓取刚刚更新的数据。

4. Deep Web 爬虫
   Web 页面按存在方式可以分为表层网页（Surface Web）和深层网页（Deep Web，也称 Invisible Web Pages 或 Hidden Web）。
   表层网页是指传统搜索引擎可以索引的页面，以超链接可以到达的静态网页为主构成的 Web 页面。
   Deep Web 是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的 Web 页面。