Jsoup 输入汇总

2019独角兽企业重金招聘Python工程师标准>>>

jsoup 可以从包括字符串、URL地址以及本地文件来加载HTML 文档，并生成Document对象实例。

Document对象（一个文档的对象模型）：文档由多个Elements和TextNodes组成 (以及其它辅助nodes：详细可查看：nodes package tree).
其继承结构如下：Document继承Element继承Node. TextNode继承 Node.

2.一个Element包含一个子节点集合，并拥有一个父Element。他们还提供了一个唯一的子元素过滤列表

1 从字符串中输入HTML文档

1.1 解析一个html字符串

使用静态方法Jsoup.parse(String html) 或 Jsoup.parse(String html, String baseUri)

String html = "First parse"
  + "Parsed HTML into a doc.";
Document doc = Jsoup.parse(html);

说明：

其解析器能够尽最大可能从你提供的HTML文档来创见一个干净的解析结果，无论HTML的格式是否完整。
parse(String html, String baseUri) 这个方法能够将输入的HTML解析为一个新的文档 (Document），参数 baseUri 是用来将相对 URL 转成绝对URL，并指定从哪个网站获取文档。如这个方法不适用，你可以使用 parse(String html) 方法来解析成HTML字符串如上面的示例。
只要解析的不是空字符串，就能返回一个结构合理的文档，其中包含(至少) 一个head和一个body元素。
一旦拥有了一个Document，你就可以使用Document中适当的方法或它父类 Element 和 Node 中的方法来取得相关数据

1.2 解析一个body片断

假如你有一个HTML片断 (比如. 一个 div 包含一对 p 标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片断可以是用户提交的一条评论或在一个CMS页面中编辑body部分。可以使用Jsoup.parseBodyFragment(String html) 方法.

String html = "Lorem ipsum.";
Document doc = Jsoup.parseBodyFragment(html);
Element body = doc.body();

说明：

parseBodyFragment 方法创建一个空壳的文档，并插入解析过的HTML到body元素中。假如你使用正常的 Jsoup.parse(String html) 方法，通常你也可以得到相同的结果，但是明确将用户输入作为 body片段处理，以确保用户所提供的任何糟糕的HTML都将被解析成body元素。
Document.body() 方法能够取得文档body元素的所有子元素，与 doc.getElementsByTag("body")相同。

1.3保证安全Stay safe

假如你可以让用户输入HTML内容，那么要小心避免跨站脚本攻击。利用基于Whitelist 的清除方法clean(...)来清除用户输入的恶意内容。

2 从URL直接加载HTML文档

从一个网站获取和解析一个HTML文档，并查找其中的相关数据，可以使用 Jsoup.connect(String url)方法。

Document doc = Jsoup.connect("http://example.com")
  .data("query", "Java")
  .userAgent("Mozilla")
  .cookie("auth", "token")
  .timeout(3000)
  .post();

说明：

connect(String url) 方法创建一个新的 Connection 和 get() 取得和解析一个HTML文件。如果从该URL获取HTML时发生错误，便会抛出 IOException，应适当处理。
Connection 接口还提供一个方法链来解决特殊请求，具体如下：

这个方法只支持Web URLs (http 和 https 协议); 假如你需要从一个文件加载，可以使用 parse(File in, String charsetName) 代替。

3 从文件中加载HTML文档

在本机硬盘上有一个HTML文件，需要对它进行解析从中抽取数据或进行修改。可以使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法。

File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

说明：

parse(File in, String charsetName, String baseUri) 这个方法用来加载和解析一个HTML文件。如在加载文件的时候发生错误，将抛出IOException，应作适当处理。
baseUri参数用于解决文件中URLs是相对路径的问题。如果不需要可以传入一个空的字符串。
另外还有一个方法parse(File in, String charsetName) 它使用文件的路径做为 baseUri。这个方法适用于如果被解析文件位于网站的本地文件系统，且相关链接也指向该文件系统。