Java爬虫实战一之获取全国信息

Java爬虫实战一之获取全国信息

1.背景知识

使用java代码获取网页内容，并将内容打印在标准输出中。

2.代码

import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.util.ArrayList;
import java.util.Arrays;

import org.jsoup.*;
import org.jsoup.nodes.*;
import org.jsoup.select.*;

public class Html {
    //根据url从网络获取网页文本
    public Document getHtmlTextByUrl(String url) {
        /*
        1.Document:A HTML Document.
         */
        Document doc = null;
        try {
            int i = (int) (Math.random() * 1000); //做一个随机延时，防止网站屏蔽
            while (i != 0) {
                i--;
            }
            /*
            1.The core public access point to the jsoup functionality.【访问jsoup 功能的核心开放接口】
            2.connect(url) -> 连接到某个url上的方法
            3.data():Add a request data parameter
            4.cookie():Set a cookie to be sent in the request
            5.post():Execute the request as a POST, and parse the result.
            */
            doc = Jsoup.connect(url).data("query", "Java")
                    .userAgent("Mozilla").cookie("auth", "token")
                    .timeout(300000).post();
        } catch (IOException e) {
            e.printStackTrace();
            try {
                doc = Jsoup.connect(url).timeout(5000000).get();
            } catch (IOException e1) { // TODO Auto-generated catch block
                e1.printStackTrace();
            }
        }
        return doc;
    }

    //get html by local url,if local url not exists ,get url through network and save in local
    public Document getHtmlTextByPath(String name, String url) {
        String path = "D:/Html/" + name + ".htm"; //the local url's path
        Document doc = null;
        File input = new File(path);
        try {
            /*
            1.(optional) character set of file contents. Set to null to determine from http-equiv meta tag,
            if present, or fall back to UTF-8 (which is often safe to do).
             */
            doc = Jsoup.parse(input,"gb2312");//gb2312是后面url指定网站使用的一个CHARSET【这个值需要根据需要进行设置】
            if (!doc.children().isEmpty()) {
                //doc = null;
                System.out.println("已经存在");
            }
        } catch (IOException e) {
            System.out.println("文件未找到，正在从网络获取.......");
            doc = this.getHtmlTextByUrl(url);
            //并且保存到本地
            this.saveHtml(url,name);
        }
        return doc;
    }

    //将网页保存在本地（通过url,和保存的名字）
    public void saveHtml(String url,String name) {
        try {
            name = name + ".htm";//set file's name
            // System.out.print(name);
            File dest = new File("D:/Html/" + name);//D:\Html
            //接收字节输入流
            InputStream is;
            //字节输出流
            FileOutputStream fos = new FileOutputStream(dest);
            URL temp = new URL(url);
            is = temp.openStream();
            //为字节输入流加缓冲
            BufferedInputStream bis = new BufferedInputStream(is);
            //为字节输出流加缓冲
            BufferedOutputStream bos = new BufferedOutputStream(fos);
            int length;
            byte[] bytes = new byte[1024 * 20];
            while ((length = bis.read(bytes, 0, bytes.length)) != -1) {
                fos.write(bytes, 0, length);
            }
            bos.close();
            fos.close();
            bis.close();
            is.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    //根据元素属性获取某个元素内的elements列表
    public Elements getEleByClass(Document doc,String className)
    {
        Elements elements= null;
        elements = doc.select(className);//这里把我们获取到的html文本doc，和工具class名，注意
        return elements;   //此处返回的就是所有的tr集合
    }


    //获取省 、市 、县等的信息
    public ArrayList getProvince(String name,String url ,String type)
    {
        ArrayList result= new ArrayList();
        String classType = "tr." +type;
        //"tr.provincetr"  => 要获取标签为的信息
        System.out.println("classType is :" + classType);
        //从网络上获取网页
        // Document doc = this.getHtmlTextByUrl(url);
        //从本地获取网页,如果没有则从网络获取
        Document doc2 = this.getHtmlTextByPath(name,url);
        System.out.println(name);

        if(doc2!=null){ //如果存在集合，则取出数据
            System.out.println("doc2!=null");
            Elements es =this.getEleByClass(doc2,classType);  //根据上述的classType得到tr的集合
            //System.out.println("es is :"+es.toString());
            for(Element e : es)   //依次循环每个元素，也就是一个tr
            {
                if(e!=null){
                    //System.out.printf("element!=null"); //->for test
                    for(Element ec : e.children())  //一个tr的子元素td，td内包含a标签
                    {
                        //身份的信息： 原来的url（当前url）  名称（北京） 现在url（也就是北京的url）  类型（prv）省
                        String[] prv = new String[4];
                        if(ec.children().first()!=null)
                        {
                            //原来的url
                            prv[0]=url;  //就是参数url
                            /* 获取城市名
                            1.first()：Get the first matched element.
                            2.ownText(): Gets the text owned by this element only; does not get the combined text of all children.
                             */
                            prv[1]=ec.children().first().ownText();  //a标签文本  如:北京
                            System.out.println(prv[1]);

                            /* 获取子url地址
                            */
                            prv[2]=ec.children().first().attr("abs:href");  //北京的url
                            System.out.println(prv[2]);

                            /*级别
                            prv[3]=type; //就是刚刚传的类型，后面会有city 、county等
                            result.add(prv);//将所有身份加入list中
                            */
                        }
                    }
                }
            }
        }
        //返回所有的省份信息集合，存数据库，字段类型为： baseurl  name ownurl levelname（type） updatetime
        return result;
    }
}

• 测试主类

public class TestCrawler {
    public static void main(String[] args) {
        Html html = new Html();
        //html.getHtmlTextByPath("2","http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2015/index.html");
        html.getProvince("2","http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2015/index.html","provincetr");
    }
}

• maven依赖

 <dependencies>
        
        <dependency>
            <groupId>org.jsoupgroupId>
            <artifactId>jsoupartifactId>
            <version>1.11.3version>
        dependency>
dependencies>

3.输出结果

• 本地没有缓存时
  

• 本地有缓存时

  • 缓存路径在D:\Html下：
    
  • 程序执行效果如下：
    

4.其它

在这里简要介绍一下Element类中select方法的使用：
select详解
select方法返回的是一个Elements 对象，里面包含着找到的所有节点。遍历Elements ，通过get（index），就可以拿出具体的 节点了。通过节点的text()方法，就可用拿出文本值。

4.1 通过标签名来查找

<span>33span>
<span>25span>

Elements elements = doc.select(“span”);

• 注：通过标签来查找，直接写 “标签名” 就好，不需要尖括号。
• 执行结果：

33
25

4.2 通过 id 来查找

<span  id=\"mySpan\">36span> 
<span>20span>

Elements elements = doc.select("#mySpan");

• 注：通过id来查找，使用方法跟css指定元素一样，用#
• 执行结果
  36

4.3 通过 class名 来查找

<span class=\"myClass\">36span>
<span>20span>

Elements elements = doc.select(".myClass");

• 注：通过id来查找，使用方法跟css指定元素一样，用 .
• 执行结果：36

4.4 利用标签内属性名查找元素

<span class=\"class1\" id=\"id1\">36span>
<span class=\"class2\" id=\"id2\">36span>

Elements elements = doc.select("span[class=class1]span[id=id1]");

• 注：规则为 标签名【属性名=属性值】，标签名可写可不写，多个属性即多个【】，如上。
• 执行结果：36

4.5 利用标签内 属性名前缀 查找元素

<span class=\"class1\" >36span>
<span class=\"class2\" >22span>

Elements elements = doc.select("span[^cl]");

• 注：规则为 标签名【^属性名前缀】，标签名可写可不写，多个属性即多个【】。
• 执行结果：
  36
  22

4.6 利用标签内 属性名+正则表达式 查找元素

<span class=\"ABC\" >36span>
<span class=\"ADE\" >22span>

Elements elements = doc.select("span[class~=^AB]")

• 注：规则为 标签名【属性名~=正则表达式】，以上的正则表达式的意思是查找以class值以AB为开头的标签，标签名可写可不写，多个属性即多个【】
• 执行结果：36

4.7 利用标签 文本包含某些内容 来查找

<span>36span>
<span>22span>

Elements elements = doc.select("span:contains(3)");

• 注：规则为 标签名:contains(文本值)
• 执行结果：
  36

4.8 利用标签 文本包含某些内容+正则表达式 来查找

<span>36span>
<span>22span>

Elements elements = doc.select("span:matchesOwn(^3)");

• 注：规则为 标签名:matchesOwn(正则表达式)，以上的正则表式的意思是以文本值以3为开头的标签
• 执行结果：36

5.参考资料

• https://www.cnblogs.com/Jims2016/p/5877300.html
• http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2015/index.html
• https://www.2cto.com/kf/201408/324292.html