省市区数据获取（二） - Jsoup解析网页获取

聊骚

在 省市区数据获取 - 源数据 这里，我们知道从哪里找到数据，但是我们还没有提取出数据。人工的方式固然可取，但是需要花费较多的时间，很浪费。所以我们当然是要用程序获取。

这里我用jsoup来解析我们爬取到的网页数据。

准备

• jsoup jar包

    org.jsoup
    jsoup
    1.11.3

• Lombok

本项目依赖lombok，所以有兴趣看源码的，需要有lombok的依赖。源码在最后。

小小分析一波

从上一篇我们知道得到省市区对应的网页url。

# 查看省份数据
http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2017/index.html

# 查看广东省市级数据
http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2017/44.html

# 查看广州市区级数据
http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2017/44/4401.html

我们发现这个是有规律的，44是广东省的区划代码，而4401是广州市的区划代码，前面的http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2017/这一大串都是一样的，我们就叫commonUrl。规律就是：

# 获取省的数据
commonUrl + index.html

# 获取市级数据
commonUrl + 对应省级区划代码.html

# 获取县区级数据
commonUrl + 对应省级区划代码 + / + 对应市级区划代码.html

所以我们得到省级区划代码就能获取到所有市级的数据（包括市级的区划代码），也就能获取对应的县区级数据了。

网页数据解析

省级数据

我们看下省级数据的html格式:

        ......
    
        ......
    

    

        
 
    
    

        

            2017年统计用区划代码和城乡划分代码(截止2017年10月31日)
    
    

        
北京市

        
天津市

    

        
上海市

        
江苏省

    

        


        


    

从上面可以知道我们所有的省级数据都是在 class='provincetr' 的 tr 下面。但是又看到有些是没有数据，然后对应的省级区划代码是嵌在 a 标签的 href 属性里面的。

那么我们只要获取所有 class='provincetr' 的 tr 下的 a 标签就能得到所有的省级数据了。这样也过滤掉没有数据的tr, 然后我们解析 a 标签的 href 属性和 text 数据就能得到所有的省级数据了。

代码如下：

public static void parseProvince(String url) {

    String htmlStr = HttpClientUtils.httpGetRequest(url, "GBK");
    Document document = Jsoup.parse(htmlStr);

    // 获取 class='provincetr' 的元素
    Elements elements = document.getElementsByClass("provincetr");
    List provinces = new LinkedList<>();
    for (Element element : elements) {
        // 获取 elements 下属性是 href 的元素
        Elements links = element.getElementsByAttribute("href");
        for (Element link : links) {
            String provinceName = link.text();
            String href = link.attr("href");
            String provinceCode = href.substring(0, 2);
            log.info("provinceName: " + provinceName + ", provinceCode: " + provinceCode);

            Node provinceNode = Node.builder()
                    .code(provinceCode)
                    .name(provinceName)
                    .build();

            parseCity(COMMON_URL + href, provinceNode);
            provinces.add(provinceNode);
        }
    }
    log.info(new Gson().toJson(provinces));
}

市级数据

因为市级数据是要根据省级的区划代码的，所以从上面的代码看的到，我们解析出省级的区划代码用于解析市级数据。

看看关键的html

   360100000000
   南昌市


   360200000000
   景德镇市

从html的代码看出，我们只要获取到所有的class='citytr'的tr就能将市级数据获取到，然后解析里面的a标签获取到区划代码和市级名称。

具体的代码如下：

public static void parseCity(String url, Node provinceNode) {
    String htmlStr = HttpClientUtils.httpGetRequest(url, "GBK");
    Document document = Jsoup.parse(htmlStr);
    Elements trs = document.getElementsByClass("citytr");
    List cities = new LinkedList<>();
    for (Element tr : trs) {
        Elements links = tr.getElementsByTag("a");
        String href = links.get(0).attr("href");
        String cityCode = links.get(0).text().substring(0, 4);
        String cityName = links.get(1).text();
        log.info("    cityName: " + cityName + ", cityCode: " + cityCode);

        Node cityNode = Node.builder()
                .name(cityName)
                .code(cityCode)
                .build();

        parseCounty(COMMON_URL + href, cityNode);
        cities.add(cityNode);
    }
    provinceNode.setNodes(cities);
}

县区数据

县区数据的获取依赖于市级的区划代码，所以在上面的代码也能看出将数据往下传递。解析和市级是大同小异的。

下面是关键的html：

   361101000000
   市辖区


   361102000000
   信州区


   361103000000
   广丰区

好吧！代码都不想贴了。这样我们就把省市县区的数据拿到手了。不用人工去处理了。

在上面的代码中，我在控制台打印了所有的省市区的数据，并在最后转换成json格式输出。

问题

但是我们的数据是要保存到数据库中的，难道一条条的写插入语句？如果前端需要json格式和我们目前打印的不一样呢？

这还不简单，在程序中加入生成sql的语句，然后再数据库执行就好了；json格式不一样，那就修改成他们想要的格式。

那么问题又来了，哪天我想查询出省市区所在的坐标。又或者我只想打印sql语句，或想打印sql和json，或想只打印gps的经纬度，或sql、json、gps都打印。总之就是这三者的各种组合，也可能我又想加一种打印方式。难道都去改代码吗？那代码都要改烂了。

这种场景正好是装饰器模式的应用场景。下篇 省市区数据获取 - 装饰器适应不同需求 我们用装饰器处理我们在上面提出来的问题。

源码地址

CityStats.java 就是