java爬虫入门---WebMagic

一、爬虫框架的使用

爬虫的底层实现 ：HttpClient + Jsoup，这里使用别人做好的的爬虫框架的轮子，可以省略我们绝大多数步骤！

webmagic 的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简
单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。

1.2、主要特色

• 完全模块化的设计，强大的可扩展性。
• 核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。
• 提供丰富的抽取页面API。
• 无配置，但是可通过POJO+注解形式实现一个爬虫。
• 支持多线程。
• 支持分布式。
• 支持爬取js动态渲染的页面。
• 无框架依赖，可以灵活的嵌入到项目中去

1.3、官网

https://webmagic.io/

二、使用

2.1、 引入webMagic的依赖

<dependency>
    <groupId>us.codecraftgroupId>
    <artifactId>webmagic-coreartifactId>
    <version>0.7.3version>
dependency>
<dependency>
    <groupId>us.codecraftgroupId>
    <artifactId>webmagic-extensionartifactId>
    <version>0.7.3version>
dependency>

2.2、爬取指定内容（XPath）

如果我们想爬取网页中部分指定的内容，需要指定xpath。关于xpath这里就不再多说主要就是指定xml元素的位置！
列如：

       //*[@id=\"nav\"]/div/div/ul/li[5]/a

以上代码的含义：id为nav的节点下的div节点下的div节点下的ul下的第5个li节点下的a节点

2.3、整体代码

package cn.gxm.webmagic;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.processor.example.GithubRepoPageProcessor;

/**
 * @author GXM
 * @date 2019/1/31
 * 自己的process
 */
public class MyProcessor implements PageProcessor {


    /**
     * 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
     */
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);

    /**
     * process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
     * @param page
     */
    public void process(Page page) {
        // 部分二：定义如何抽取页面信息，并保存下来
        //  正则表示爬去那个页面 例如 scdn的博客地址类型    https://blog.csdn.net/mumu1998/article/details/86528729

        page.addTargetRequests(page.getHtml().links()
                                               .regex("https://blog.csdn.net/[a-z A-Z 0-9]+/article/details/[0-9]{8}")
                                                .all());

        //关于  xpath 路径  可以使用 浏览器工具  获取每篇博客的 nickname 昵称
        String nickname = page.getHtml().xpath("//*[@id=\"uid\"]").toString();
        System.out.println(nickname);
    }

    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        Spider.create(new MyProcessor())
                //从"https://blog.csdn.net"开始抓
                .addUrl("https://blog.csdn.net")
                .run();
    }
}

2.4、结果说明

这里可以看到是把整个连接抓取过来了，如果我只想获取nickename (csdn官方博客 、果冻虾仁等 )可以更改 xpath 如下： //*[@id=“uid”]/text()

3、总结

我这里只是做了一个简单的demo，轮子别人已近造好了，我们拿来使用即可！大家也可以看官方文档，也很详细！！