Jsoup——html/xml解析器

概念

• jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

快速入门

• 步骤：
  1. 导入Jsoup的jar包
  2. 获取Document对象
  3. 获取对应标签Element对象
  4. 获取数据
• 代码：
• xml文档

<students>
    <student number="duing-001">
        <name>tomname>
        <age>18age>
        <sex>malesex>
    student>
    <student number="duing-002">
        <name>jackname>
        <age>18age>
        <sex>femalesex>
    student>
students>

• Java解析代码：

public class JsoupDemo1 {
    public static void main(String[] args) throws IOException {
        //2.获取Document对象，根据xml文档获取
        //2.1获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        path = java.net.URLDecoder.decode(path, "utf-8");//路径中文出现乱码，需要重新编码
        //2.2解析xml文档，加载文档进内存，获取dom树--->Document
        Document document = Jsoup.parse(new File(path), "utf-8");
        //3.获取元素对象
        Elements elements = document.getElementsByTag("name");

        System.out.println(elements.size());
        //3.1获取第一个name的Element对象
        Element element = elements.get(0);
        //3.2获取数据
        String name =  element.text();
        System.out.println(name);
    }
}

- 解析结果：

Jsoup对象

• Jsoup：工具类，可以解析html或xml文档，返回Document
  • parse：静态方法，解析html或xml文档，返回Document
    • parse​(File in, String charsetName)：解析html或xml文件的（上面案例已演示）
    • parse​(String html)：解析html或xml字符串的
    • parse​(URL url, int timeoutMillis)：通过网络路径获取指定的html或xml的文档对象

public class JsoupDemo1 {
    public static void main(String[] args) throws IOException {
        URL url = new URL("https://baidu.com");
        Document doc = Jsoup.parse(url, 1000);
        System.out.println(doc);
    }
}

Document对象

• Document：文档对象，代表内存中的dom树
  • 获取Element对象
    • getElementById​(String id)：根据id属性值获取唯一的元素对象
    • getElementsByTag​(String tagName)：根据标签名称获取元素对象集合
    • getElementsByAttribute​(String key)：根据属性名称获取元素对象集合
    • getElementsByAttributeValue​(String key, String value)：根据对相应的属性名和属性值获取元素对象集合
• student.xml文档

<students>
    <student number="duing_001">
        <name id="id01">tomname>
        <age>18age>
        <sex>malesex>
    student>
    <student number="duing_002">
        <name>jackname>
        <age>18age>
        <sex>femalesex>
    student>
students>

• Java解析代码：

public class JsoupDemo1 {
    public static void main(String[] args) throws IOException {
        //1.获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        path = java.net.URLDecoder.decode(path, "utf-8");//路径中文出现乱码，需要重新编码
        //2.获取Document对象
        Document doc = Jsoup.parse(new File(path), "utf-8");
        //3.获取元素对象
        //3.1获取所有student对象
        Elements elements = doc.getElementsByTag("student");
        System.out.println(elements);

        System.out.println("------------------------");

        //3.2获取属性名为id的元素对象们
        Elements elements1 = doc.getElementsByAttribute("id");
        System.out.println(elements1);
        System.out.println("------------------------");
        //3.3获取number属性值为duing_002的元素对象们
        Elements elements2 = doc.getElementsByAttributeValue("number","duing_002");
        System.out.println(elements2);
        System.out.println("------------------------");
        //3.4获取id属性值为id01的元素对象
        Element element = doc.getElementById("id01");
        System.out.println(element);
    }

• 解析结果：
  
  

Element对象

• Elements：元素Element对象的集合，可以当做ArrayList来使用
• Element：元素对象
  1. 获取子元素对象
     • getElementById​(String id)：根据id属性值获取唯一的元素对象
     • getElementsByTag​(String tagName)：根据标签名称获取元素对象集合
     • getElementsByAttribute​(String key)：根据属性名称获取元素对象集合
     • getElementsByAttributeValue​(String key, String value)：根据对相应的属性名和属性值获取元素对象集合
  2. 获取属性值
     • String attr​(String key)：根据属性名称获取属性值
  3. 获取文本内容（注意两者的区别）
     • String text()：获取所有字标签的纯文本文本内容
     • String html()：获取标签体的所有内容（包括子标签的标签和文本内容）
• student.xml文档：

<students>
    <student number="duing_001">
        <name id="id01">
            <xing>zhangxing>
            <ming>sanming>
        name>
        <age>18age>
        <sex>malesex>
    student>
    <student number="duing_002">
        <name>jackname>
        <age>18age>
        <sex>femalesex>
    student>
students>

• Java解析代码：

public class JsoupDemo3 {
    public static void main(String[] args) throws IOException {
        //1.获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        path = java.net.URLDecoder.decode(path, "utf-8");//路径中文出现乱码，需要重新编码
        //2.通过Document对象获取name标签，获取所有的name标签
        Document doc = Jsoup.parse(new File(path), "utf-8");
        Elements elements = doc.getElementsByTag("name");
        System.out.println(elements.size());
        System.out.println("-----------------");
        //通过Element对象获取字标签对象
        Element element_student = doc.getElementsByTag("student").get(0);
        Elements ele_name =element_student.getElementsByTag("name");
        System.out.println(ele_name.size());
        System.out.println("-----------------");
        //获取student对象的属性值
        String key = element_student.attr("number");
        System.out.println(key);
        System.out.println("-----------------");
        //获取文本内容
        String text = ele_name.text();
        String html = ele_name.html();
        System.out.println(text);
        System.out.println("-----------------");
        System.out.println(html);
    }

• 解析结果：

Node：节点对象

• 是Document和Element的父类
• 不做重点学习

快捷查询方式

1. selector：选择器
   • 使用的方法：Elements select​(String cssQuery)
     • 语法：参考Selector类中定义的语法

• 代码：
• xml文档

<students>
    <student number="duing_001">
        <name id="id01">
            <xing>zhangxing>
            <ming>sanming>
        name>
        <age>18age>
        <sex>malesex>
    student>
    <student number="duing_002">
        <name id="id02">jackname>
        <age>18age>
        <sex>femalesex>
    student>
students>

• selector解析

public class JsoupDemo4 {
    public static void main(String[] args) throws IOException {
        //1.获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        path = java.net.URLDecoder.decode(path, "utf-8");//路径中文出现乱码，需要重新编码
        //2.通过Document对象获取name标签，获取所有的name标签
        Document doc = Jsoup.parse(new File(path), "utf-8");
        //3.查询name标签
        Elements elements = doc.select("name");
        System.out.println(elements);
        System.out.println("----------------");
        //4.查询id值为id02的元素
        Elements elements1 = doc.select("#id02");
        System.out.println(elements1);
        System.out.println("----------------");
        //5.获取student标签并且number属性值为duing_001的age子标签
        //5.1获取student标签并且number属性值为duing_001
        Elements elements2 = doc.select("student[number='duing_001']");
        System.out.println(elements2);
        System.out.println("----------------");
        //5.2获取student标签并且number属性值为duing_001的age子标签
        Elements elements3 = doc.select("student[number='duing_001'] > age");
        System.out.println(elements3);
    }
}

• 解析结果：
  
  

2. XPath：XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。
   • 使用Jsoup的XPath需要额外导入jar包
   • 使用的方法：sel、selN、selNOne、selOne
   • 查询w3cshool参考手册，使用XPath语法完成查询

• xml文档如上
• XPath解析：

public class JsoupDemo5 {
    public static void main(String[] args) throws IOException, XpathSyntaxErrorException {
        //1.获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        path = java.net.URLDecoder.decode(path, "utf-8");//路径中文出现乱码，需要重新编码
        //2.通过Document对象获取name标签，获取所有的name标签
        Document doc = Jsoup.parse(new File(path), "utf-8");
        //3.根据Document对象，创建JXDocument对象
        JXDocument jxDocument = new JXDocument(doc);
        //4.结合XPath语法查询
        //4.1查询所有的student标签
        List<JXNode> jxNodes = jxDocument.selN("//student");
        for(JXNode jxNode:jxNodes){
            System.out.println(jxNode);
        }
        System.out.println("----------------");
        //4.2查询所有student标签下的name标签
        List<JXNode> jxNodes1 = jxDocument.selN("//student/name");
        for(JXNode jxNode:jxNodes1){
            System.out.println(jxNode);
        }
        System.out.println("----------------");
        //4.3查询student标签下带有id属性的name标签
        List<JXNode> jxNodes2 = jxDocument.selN("//student/name[@id]");
        for(JXNode jxNode:jxNodes2){
            System.out.println(jxNode);
        }
        System.out.println("----------------");
        //4.3查询student标签下带有id属性的name标签，并且id属性为id02
        List<JXNode> jxNodes3 = jxDocument.selN("//student/name[@id='id02']");
        for(JXNode jxNode:jxNodes3){
            System.out.println(jxNode);
        }
    }
}

• 解析结果：