淘宝、天猫等电商爬虫问题与总结（一）

#淘宝、天猫等电商爬虫问题与总结（一）

此次电商数据采集器（爬虫）共采集10个电商平台（淘宝、天猫、京东、国美、苏宁、拼多多、亚马逊、1688、一号店、慧聪）的数据，这里将公司的业务需求全部去除掉，基本的电商数据是全的。下面简单说一下整个的思路：
采集器使用activemq作为消息队列，采用生产者和消费者的模式，用来分发任务与接受任务，各平台之间采用redis做去重处理，爬虫框架使用webmagic，使用springboot用作项目的管理。前端可创建多个规则（平台名称+搜索关键字即组成一个规则），采集器作为消息的接收者接受到消息后，开始启动爬虫。1个规则对应1个爬虫。
中间坑是踩了无数个的，毕竟整个框架搭出来踩了一些坑，各个平台的爬取，反爬策略等等都有很多的陷阱。下面会就各个平台的坑分别分析，不定时更新。（所有的应对方法对应最新的都是当前更新的日期，以后会有改变的，就，自求多福吧。。。）

• 淘宝、天猫
  淘宝天猫是一家了，分析方式都是差不多的。淘宝我是分3层页面来进行数据的抓取，列表页，详情页以及店铺页，每层之间使用mq进行消息的传递，列表页有一段JS包含了全部的列表的商品信息，在这里我是讲这段JS经过字符串的处理，然后转换成JSON格式，取出相应信息。

/**
     * @param crawlerRule 爬取规则
     * @param page        页面
     * @return 商品列表页数据
     */
    public Optional> parse(CrawlerRule crawlerRule, Page page) {
        Matcher matcher = pattern.matcher(page.getHtml().get());
        String spiderUrl = page.getUrl().get();
        if (matcher.find()) {
            String json = matcher.group().replace("g_page_config =", "").replace("};", "}");
            String recommendText = null;

            /**
             * 判断是否出现相似数据 若出现则不进行下一页数据抓取
             */
            try {
                recommendText = JsonPath.read(json, RESULT_TEXT_JSON);
            } catch (Exception e) {
                logger.info("未匹配到recommendText, {}", recommendText);
            }

            if (StringUtils.isBlank(recommendText)){
                // 分页数据
                HashMap tbPager = JsonPath.read(json, RESULT_PAGE_JSON);
                Integer totalPage = (Integer) tbPager.get("totalPage");
                Integer currentPage = (Integer) tbPager.get("currentPage");

                // 如果还有下一页数据，添加下一页的任务
                if (++pageNum < totalPage) {
                    String[] urls = spiderUrl.split("&s=");
                    String nextPageUrl = urls[0] + "&s=" + currentPage * 44;
                    page.addTargetRequest(nextPageUrl);
                    logger.info("当前页 {} , 总页数 {} ", currentPage, totalPage);
                }
            }

            /**
             * 获取数据结果
             */
            List