【Java爬虫】003-WebMagic学习笔记
一、WebMagic介绍
1、简单介绍
WebMagic是一款爬虫框架，其底层是对HttpClient和Jsoup的封装。WebMagic项目代码分为核心和扩展两部分，核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。
WebMagic的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。扩展部分(webmagic-extension)提供一些便捷的功能，例如注解模式编写爬虫等。同时内置了一些常用的组件，便于爬虫开发。
2、框架介绍
WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，但是实现方式更Java化一些。而Spider则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心。
结构图：
3、用于数据流转的对象
Request：
Request是对URL地址的一层封装，一个Request对应一个URL地址；
它是PageProcessor与Downloader交互的载体，也是PageProcessor控制Downloader唯一方式；
除了URL本身外，它还包含一个Key-Value结构的字段extra。你可以在extra中保存一些特殊的属性，然后在其他地方读取，以完成不同的功能。例如附加上一个页面的一些信息等；
Page：
Page代表了从Downloader下载到的一个页面——可能是HTML，也可能是JSON或者其他文本格式的内容；
Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等；
ResultItems：
ResultItems相当于一个Map，它保存PageProcessor处理的结果，供Pipeline使用。它的API与Map很类似，值得注意的是它有一个字段skip，若设置为true，则不应被Pipeline处理；
4、四大组件介绍
Downloader：
负责从互联网上下载页面（一般情况不用我们管，我们只要找到页面指定路径它通过httpClient请求方式获取，框架自动下载）(底层---通过Downloader接口的download方法，然后用HttpClientDownloader去实现它，至于IP,端口等参数，这个框架是通过代理的形式传入，进行http请求，下载web页面)；
PageProcessor：
负责解析页面，抽取有用信息，以及发现新的链接（这个接口，我们实现它，在方法中想办法获取页面的地址，以及目标页的内容）(底层----也是要实现这个接口中的process()方法，进行需要的数据的提取)；
Scheduler：
负责管理待抓取的URL，以及一些去重的工作（如果只是控制台输出用不到这个方法，调用这个方法可以把url下载到本地，如果想按自己指定的方式输出需要自己，通过File文件实现本地保存数据）（底层---两个作用---提取URL和去重，我们可以把要加的url放到缓存池中，但底层实现的时候会先对url通过concurrenthashmap进行去重放到set集合中，提取urls这些不重复的地址是存放在LinkBlockingQueue的阻塞队列中）；
Pipeline：
负责对抽取结果的处理，包括计算、持久化到文件、数据库等（我暂时没用它，它可以把数据持久保存）(底层----实现Pipeline接口，我们可以通过该方法传入的参数，获取我们想要到信息，把参数可以传入进自己写的方法，然后通过File可以保存到本地，也可以通过数据库把信息持久化保存起来）；
二、入门程序
1、添加Maven坐标
us.codecraft
webmagic-core
0.7.3
us.codecraft
webmagic-extension
0.7.3
2、log4j.properties日志配置
log4j.rootLogger=INFO,A1
log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c]-[%p] %m%n
3、MyProcessor类
package com.zb.crawler.webmagic;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
public class MyProcessor implements PageProcessor {
private final Site site = Site.me();
//负责解析页面
public void process(Page page) {
//解析page并将解析结果存入ResultItems里面（map构造）
page.putField("li",page.getHtml().css("body > div.xing_vb > ul > li").all());
}
//site
public Site getSite() {
return site;
}
//主函数，执行爬虫
public static void main(String[] args) {
Spider.create(new MyProcessor())
//设置地址
.addUrl("http://okzyw.com/?m=vod-type-id-1.html")
//调取执行方法
.run();
}
}
4、运行结果
5、注意
注意：0.7.3版本对SSL的并不完全，如果是直接从Maven中央仓库下载依赖，在爬取只支持SSL v1.2的网站会有SSL的异常抛出。
解决方案：
1.等作者的0.7.4的版本发布
2.直接从github上下载最新的代码，安装到本地仓库
也可以参考以下资料自己修复
https://github.com/code4craft/webmagic/issues/701
三、抽取元素
1、概述
WebMagic主要使用三种方式进行数据抽取，即：XPath、正则表达式、CSS选择器；
2、写法
package com.zb.crawler.webmagic;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
public class MyProcessor implements PageProcessor {
private final Site site = Site.me();
//负责解析页面
public void process(Page page) {
// CSS选择器方式-与JSoup选择器一致
// 解析解析page并将解析结果存入ResultItems里面（map构造）
page.putField("li",page.getHtml().css("body > div.xing_vb > ul > li").all());
//XPath方式解析，可参考W3CSchool关于XPath的教程：语法
page.putField("li",page.getHtml().xpath("/html/body/div[5]/ul/li"));
//正则表达式
//正则表达式则是一种通用的文本抽取语言。在这里一般用于获取url地址
}
//site
public Site getSite() {
return site;
}
//主函数，执行爬虫
public static void main(String[] args) {
Spider.create(new MyProcessor())
//设置地址
.addUrl("http://okzyw.com/?m=vod-type-id-1.html")
//调取执行方法
.run();
}
}
四、抽取元素API
1、概述
Selectable相关的抽取元素链式API是WebMagic的一个核心功能；
使用Selectable接口，可以直接完成页面元素的链式抽取，也无需去关心抽取的细节；
在刚才的例子中可以看到，page.getHtml()返回的是一个Html对象，它实现了Selectable接口；
这个接口包含的方法分为两类：抽取部分和获取结果部分；
2、API详情
3、代码示例
package com.zb.crawler.webmagic;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import java.util.ArrayList;
import java.util.List;
public class MyProcessor implements PageProcessor {
private final Site site = Site.me();
private List list = new ArrayList<>();
//负责解析页面
public void process(Page page) {
// CSS选择器方式-与JSoup选择器一致
// 解析解析page并将解析结果存入ResultItems里面（map构造）
page.putField("li",page.getHtml().css("body > div.xing_vb > ul > li").all());
list = page.getHtml()
.css("body > div.xing_vb > ul > li")
.regex(".*宿舍.*")
.all();
}
//site
public Site getSite() {
return site;
}
//主函数，执行爬虫
public static void main(String[] args) {
MyProcessor myProcessor = new MyProcessor();
Spider.create(myProcessor)
//设置地址
.addUrl("http://okzyw.com/?m=vod-type-id-1.html")
//调取执行方法
.run();
System.out.println("myProcessor.list.size()：" + myProcessor.list.get(0));
}
}
4、运行结果
五、获取结果API
1、概述
当链式调用结束时，我们一般都想要拿到一个字符串类型的结果，这时候就需要用到获取结果的API了。
我们知道，一条抽取规则，无论是XPath、CSS选择器或者正则表达式，总有可能抽取到多条元素。WebMagic对这些进行了统一，可以通过不同的API获取到一个或者多个元素。
2、API详情
备注：
当有多条数据的时候，使用get()和toString()都是获取第一个url地址；
3、代码演示（略）
六、获取链接
1、概述
有了处理页面的逻辑，我们的爬虫就接近完工了，但是现在还有一个问题：一个站点的页面是很多的，一开始我们不可能全部列举出来，于是如何发现后续的链接，是一个爬虫不可缺少的一部分。
下面的例子就是获取https://www.jd.com/moreSubject.aspx这个页面中所有符合https://www.jd.com/news.\\w+?.*正则表达式的url地址，并将这些链接加入到待抓取的队列中去。
2、示例代码
public void process(Page page) {
page.addTargetRequests(page.getHtml().links()
.regex("(https://www.jd.com/news.\\w+?.*)").all());
System.out.println(page.getHtml().css("div.mt>h1").all());
}
public static void main(String[] args) {
Spider.create(new JobProcessor())
.addUrl("https://www.jd.com/moreSubject.aspx")
.run();
}
七、使用Pipeline保存结果
1、代码演示
package com.zb.crawler.webmagic;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.FilePipeline;
import us.codecraft.webmagic.processor.PageProcessor;
import java.util.ArrayList;
import java.util.List;
public class MyProcessor implements PageProcessor {
private final Site site = Site.me();
private List list = new ArrayList<>();
//负责解析页面
public void process(Page page) {
// CSS选择器方式-与JSoup选择器一致
// 解析解析page并将解析结果存入ResultItems里面（map构造）
page.putField("li",page.getHtml().css("body > div.xing_vb > ul > li").all());
list = page.getHtml()
.css("body > div.xing_vb > ul > li")
.regex(".*宿舍.*")
.all();
}
//site
public Site getSite() {
return site;
}
//主函数，执行爬虫
public static void main(String[] args) {
MyProcessor myProcessor = new MyProcessor();
Spider.create(myProcessor)
.addUrl("http://okzyw.com/?m=vod-type-id-1.html")//设置地址
.addPipeline(new FilePipeline("C:\\Users\\ZiBo\\Desktop\\result"))//输出
.thread(5)//设置线程数
.run();//调取执行方法
System.out.println("myProcessor.list.size()：" + myProcessor.list.get(0));
}
}
2、运行结果
八、爬虫的配置、启动和终止
1、Spider
概述：
Spider是爬虫启动的入口。在启动爬虫之前，我们需要使用一个PageProcessor创建一个Spider对象，然后使用run()进行启动；
同时Spider的其他组件（Downloader、Scheduler、Pipeline）都可以通过set方法来进行设置；
方法：
| 方法 | 说明 | 示例 |
| create(PageProcessor) | 创建Spider | Spider.create(new GithubRepoProcessor()) |
| addUrl(String…) | 添加初始的URL | spider .addUrl("http://webmagic.io/docs/") |
| thread(n) | 开启n个线程 | spider.thread(5) |
| run() | 启动，会阻塞当前线程执行 | spider.run() |
| start()/runAsync() | 异步启动，当前线程继续执行 | spider.start() |
| stop() | 停止爬虫 | spider.stop() |
| addPipeline(Pipeline) | 添加一个Pipeline，一个Spider可以有多个Pipeline | spider .addPipeline(new ConsolePipeline()) |
| setScheduler(Scheduler) | 设置Scheduler，一个Spider只能有个一个Scheduler | spider.setScheduler(new RedisScheduler()) |
| setDownloader(Downloader) | 设置Downloader，一个Spider只能有个一个Downloader | spider .setDownloader(new SeleniumDownloader()) |
| get(String) | 同步调用，并直接取得结果 | ResultItems result = spider.get("http://webmagic.io/docs/") |
| getAll(String…) | 同步调用，并直接取得一堆结果 | List |
2、爬虫配置Site
概述：
Site.me()可以对爬虫进行一些配置配置，包括编码、抓取间隔、超时时间、重试次数等；
示例代码：
private Site site = Site.me()
.setCharset("UTF-8")//编码
.setSleepTime(1)//抓取间隔时间
.setTimeOut(1000*10)//超时时间
.setRetrySleepTime(3000)//重试时间
.setRetryTimes(3);//重试次数
//站点本身的一些配置信息，例如编码、HTTP头、超时时间、重试策略等、代理等，都可以通过设置Site对象来进行配置。方法：
| 方法 | 说明 | 示例 |
| setCharset(String) | 设置编码 | site.setCharset("utf-8") |
| setUserAgent(String) | 设置UserAgent | site.setUserAgent("Spider") |
| setTimeOut(int) | 设置超时时间， | site.setTimeOut(3000) |
| 单位是毫秒 | ||
| setRetryTimes(int) | 设置重试次数 | site.setRetryTimes(3) |
| setCycleRetryTimes(int) | 设置循环重试次数 | site.setCycleRetryTimes(3) |
| addCookie(String,String) | 添加一条cookie | site.addCookie("dotcomt_user","code4craft") |
| setDomain(String) | 设置域名，需设置域名后，addCookie才可生效 | site.setDomain("github.com") |
| addHeader(String,String) | 添加一条addHeader | site.addHeader("Referer","https://github.com") |
| setHttpProxy(HttpHost) | 设置Http代理 | site.setHttpProxy(new HttpHost("127.0.0.1",8080)) |
| getAll(String…) | 同步调用，并直接取得一堆结果 | List |
九、爬虫分类（了解）
1、概述
网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的；
2、通用网络爬虫（一般搜索引擎企业用）
通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。
这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。
简单的说就是互联网上抓取所有数据。
3、聚焦网络爬虫（大部分企业用）
聚焦网络爬虫（Focused Crawler），又称主题网络爬虫（Topical Crawler），是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫。
和通用网络爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快，还可以很好地满足一些特定人群对特定领域信息的需求 。
简单的说就是互联网上只抓取某一种数据。
4、增量式网络爬虫
增量式网络爬虫（Incremental Web Crawler）是 指 对 已 下 载 网 页 采 取 增量式更新和只爬行新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能新的页面。
和周期性爬行和刷新页面的网络爬虫相比，增量式爬虫只会在需要的时候爬行新产生或发生更新的页面 ，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的复杂度和实现难度。
简单的说就是互联网上只抓取刚刚更新的数据。
5、Deep Web 爬虫
Web 页面按存在方式可以分为表层网页（Surface Web）和深层网页（Deep Web，也称 Invisible Web Pages 或 Hidden Web）。
表层网页是指传统搜索引擎可以索引的页面，以超链接可以到达的静态网页为主构成的 Web 页面。
Deep Web 是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的 Web 页面。