爬虫实战--动态网页解析

大家在做数据爬虫时一般会遇到这几个问题：

• 如何解析动态网页 如弹窗 、通过Ajax异步请求渲染页面；
• 深度爬取 ，如何解决循环爬取与多级翻页的问题
• 如何对爬取内容进行去重 ，图片去重难度大于文本
• 模拟登陆 ，部分敏感信息需要用户进行网站登陆后才可以获取
• 如何破解对方防刷机制 ，常见的有输入验证码或者限制同一IP的访问次数等
• 存储，如何实现海量非结构化内容数据的存储 尤其是图片数据的存储

上述几个问题我们会在接下来的数据采集系列中逐一解决 ，但今天我们要解决的问题是如何实现动态网页的解析

随着AJAX技术不断的普及，以及各种JS框架的出现，现在js渲染出的页面越来越多。对于爬虫来说，这种页面是比较讨厌的：仅仅提取HTML内容，往往无法拿到有效的信息。那么如何处理这种页面呢？总的来说有两种做法

方案

1、Selenium

selenium是基于火狐浏览器的开发者工具，结合selenium webdriver可实现js的动态渲染，模拟用户在浏览器的真实操作，实现数据爬取的目的；通过selenium调用每次都会弹出浏览器界面，可通过在浏览器中设置headless来进入无界面状态；selenium主要优势是浏览器页面的动态交互及js脚本的动态渲染，缺点是每次加载一个 url都相当于打开一次页面，渲染时间比较长，爬取效率非常低，可用于研究和学习，不适合生产环境使用

2、抓包

因为js渲染时用到的数据都是从后端获取的，每一个ajax请求都会对应一个http的api接口，所以只要认真分析网页的ajax请求找出对应的数据接口，就可以实现数据的爬取了，而且数据接口较页面来说更稳定，一般返回的数据结构不会变更；缺点就是如果待爬取的页面请求过于复杂，需要有一定的分析经验，借助分析工具耐心观察、调试定位。

为了便于大家能够在实际生产中得到应用，这里以第二种方案进行流程讲解

案例背景

全量爬取IconFont的svg图片

过程再现

• 使用chrom进入网站，找到网站数据的列表页

image.png

• F12打开检查器分析http协议的数据包 ，刷新当前页面，选定XHR查看ajax请求
  
  

  image.png
  
  通过上图分析发现，列表页数据api接口是 ：https://www.iconfont.cn/api/collections.json?type=3&sort=time&limit=9&page=1&keyword=&t=1575348830602&ctoken=VF3fshx8oWHDsvZOr819_IXR
  上述链接数据返回格式如下图，其中标记出来的部分为用户Id

image.png

• 点击其中一个Item进入用户作品列表页
  

  

  image.png

• 这个页面也是ajax获取数据动态渲染的，依然进入检查功能找到对应的ajax请求接口

  
  
  

  image.png

通过这个接口就可以拿到具体Icon的svg标签数据了

image.png

核心代码

爬虫的主体框架选用的是webmagic，通过重写pageProcesser与pipeline两部分实现对Icon的抓取与存储

页面解析

package com.crawler.icon;

import java.io.IOException;
import java.util.List;

import com.crawler.image.ImageDownloaderUtil;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
public class ImageProcessor implements PageProcessor {
  /**
   * 网络爬虫相关配置
   * 这里设置了重试次数,时间间隔
   */

  private Site site = Site.me().setTimeOut(3000);
  private static String LIST_URL = "https://www.iconfont.cn/api/collections.json.*";

  public Site getSite() {
      return site;
  }


  public void process(Page page) {
//      判断当前页面是用户列表页还是作品列表页
      if (page.getUrl().regex(LIST_URL).match()) {
          List ids = new JsonPathSelector("$.data.lists[*].id").selectList(page.getRawText());
          if (CollectionUtils.isNotEmpty(ids)) {
              for (String id : ids) {
                  // 根据获取到的用户Id 拼接处用户作品url并加入到待爬取队列
                  page.addTargetRequest("https://www.iconfont.cn/api/collection/detail.json?t=1575297168589&ctoken=M70q2zG_eHaf9_UIXc_KQO0e&id=" + id);
              }
          }
      } else {
          // 获取用户Icon列表
          List items = new JsonPathSelector("$.data.icons[*]").selectList(page.getRawText());
          page.putField("items", items);

      }
  }
  public static void main(String[] args) throws IOException {
      long startTime = System.currentTimeMillis();
//      JsonFilePipeline pipeline = new JsonFilePipeline("d://tmp/icon/");
      Spider spider = Spider.create(new IconProcessor()).addPipeline(new IconJsonPipeline("d://tmp/icon"));
      //通过URL拼接的方式,采集多页  这里只抓取3页仅供学习
      for (int i = 1; i <= 3; i++) {
          spider.addUrl("https://www.iconfont.cn/api/collections.json?type=1&sort=time&limit=9&t=1575297490063&ctoken=M70q2zG_eHaf9_UIXc_KQO0e&page=" + i + "&keyword=");
      }
      spider.thread(5);  //开启5个线程抓取
      spider.run();  //启动爬虫
      long endTime = System.currentTimeMillis();
      System.out.println("程序运行时间为: " + (endTime - startTime) + "ms");
  }
}

页面存储

package com.crawler.icon;

import com.alibaba.fastjson.JSON;
import org.apache.commons.codec.digest.DigestUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;
import us.codecraft.webmagic.selector.JsonPathSelector;
import us.codecraft.webmagic.utils.FilePersistentBase;

import java.io.FileWriter;
import java.io.IOException;
import java.io.PrintWriter;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

// 这里存储的是json文件 ，也可以根据实际情况选择存ES或者Cassandra
public class IconJsonPipeline extends FilePersistentBase implements Pipeline {
    private Logger logger = LoggerFactory.getLogger(this.getClass());

    public IconJsonPipeline() {
        this.setPath("/data/webmagic");
    }

    public IconJsonPipeline(String path) {
        this.setPath(path);
    }

    public void process(ResultItems resultItems, Task task) {
        String path = this.path + PATH_SEPERATOR + task.getUUID() + PATH_SEPERATOR;

        try {
            PrintWriter printWriter = new PrintWriter(new FileWriter(this.getFile(path + DigestUtils.md5Hex(resultItems.getRequest().getUrl()) + ".json")));
            List items = resultItems.get("items");
            for(String icon: items){
//              String id = new JsonPathSelector("id").select(icon);
                String svg = new JsonPathSelector("show_svg").select(icon);
                String name = new JsonPathSelector("name").select(icon);
                Map map = new HashMap<>();
                map.put("svg",svg);
                map.put("name",name);
                printWriter.write(JSON.toJSONString(map)+"\r\n");
            }

            printWriter.close();
        } catch (IOException var5) {
            this.logger.warn("write file error", var5);
        }

    }
}

总结

在这个例子中，我们分析了一个比较经典的动态页面的抓取过程。实际上，动态页面抓取，最大的区别在于：它提高了链接发现的难度。

对于其它的站点，也可能是通过AJAX去请求，甚至可能是多次数据请求的过程，但是这个模式基本是固定的。

但是这些数据请求的分析比起页面分析来说，仍然是要复杂得多，数据请求链路的分析过程是动态页面抓取的难点

注：以上代码与数据仅供学习研究，请不要用于任何商业化实现

最后致敬顶着如此巨大风险 还坚持工作在一线的爬虫人员 ：你的爬虫会送你进监狱吗