Jsoup学习总结
本文摘抄其他博客或者技术论坛，自己搜集整理如下：
Jsoup学习总结
摘要
Jsoup是一款比较好的Java版HTML解析器。可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
jSOUP主要功能
- 从一个URL，文件或字符串中解析HTML；
- 使用DOM或CSS选择器来查找、取出数据；
- 可操作HTML元素、属性、文本；
环境搭建
MAVEN依赖
<dependency><groupId>org.jsoupgroupId><artifactId>jsoupartifactId><version>1.8.3version>dependency>
1. 输入
jsoup 可以从包括字符串、URL地址以及本地文件来加载HTML 文档，并生成Document对象实例。
-
Document对象（一个文档的对象模型）：文档由多个Elements和TextNodes组成 (以及其它辅助nodes：详细可查看：nodes package tree).
其继承结构如下：Document继承Element继承Node. TextNode继承 Node. -
一个Element包含一个子节点集合，并拥有一个父Element。他们还提供了一个唯一的子元素过滤列表。
1.1 从字符串中输入HTML文档
1.1.1 解析一个html字符串
使用静态方法Jsoup.parse(String html) 或 Jsoup.parse(String html, String baseUri)
String html = "开源中国社区 "+"这里是jsoup 项目的相关文章
";Document doc = Jsoup.parse(html);
说明：
-
其解析器能够尽最大可能从你提供的HTML文档来创见一个干净的解析结果，无论HTML的格式是否完整。比如它可以处理：
- 没有关闭的标签 (比如：
Lorem
Ipsum
Lorem
Ipsum
- 隐式标签 (比如：它可以自动将
Table data ?) - 创建可靠的文档结构（html标签包含head 和 body，在head只出现恰当的元素）
parse(String html, String baseUri) 这个方法能够将输入的HTML解析为一个新的文档 (Document），参数 baseUri 是用来将相对 URL 转成绝对URL，并指定从哪个网站获取文档。如这个方法不适用，你可以使用 parse(String html) 方法来解析成HTML字符串如上面的示例。
只要解析的不是空字符串，就能返回一个结构合理的文档，其中包含(至少) 一个head和一个body元素。
一旦拥有了一个Document，你就可以使用Document中适当的方法或它父类 Element 和 Node 中的方法来取得相关数据
1.1.2 解析一个body片断
假如你有一个HTML片断 (比如. 一个 div 包含一对 p 标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片断可以是用户提交的一条评论或在一个CMS页面中编辑body部分。可以使用Jsoup.parseBodyFragment(String html) 方法.
String html = "Lorem ipsum.
";Document doc = Jsoup.parseBodyFragment(html);Element body = doc.body();说明：
- parseBodyFragment 方法创建一个空壳的文档，并插入解析过的HTML到body元素中。假如你使用正常的 Jsoup.parse(String html) 方法，通常你也可以得到相同的结果，但是明确将用户输入作为 body片段处理，以确保用户所提供的任何糟糕的HTML都将被解析成body元素。
- Document.body() 方法能够取得文档body元素的所有子元素，与 doc.getElementsByTag("body")相同。
1.2 从URL直接加载HTML文档
从一个网站获取和解析一个HTML文档，并查找其中的相关数据，可以使用 Jsoup.connect(String url)方法。
Document doc =Jsoup.connect("网址/").get();String title = doc.title();Document doc =Jsoup.connect("网址/").data("query", "Java") //请求参数.userAgent("I’mjsoup") //设置User-Agent.cookie("auth", "token") //设置cookie.timeout(3000) //设置连接超时时间.post(); //使用POST方法访问URL
说明：
- connect(String url) 方法创建一个新的 Connection 和 get() 取得和解析一个HTML文件。如果从该URL获取HTML时发生错误，便会抛出 IOException，应适当处理。
- Connection 接口还提供一个方法链来解决特殊请求，具体如下：
Document doc = Jsoup.connect("http://example.com").data("query", "Java").userAgent("Mozilla").cookie("auth", "token").timeout(3000).post();
这个方法只支持Web URLs (http 和 https 协议); 假如你需要从一个文件加载，可以使用 parse(File in, String charsetName) 代替。
1.3 从文件中加载HTML文档
在本机硬盘上有一个HTML文件，需要对它进行解析从中抽取数据或进行修改。可以使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法。
File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
说明：
-
parse(File in, String charsetName, String baseUri) 这个方法用来加载和解析一个HTML文件。如在加载文件的时候发生错误，将抛出IOException，应作适当处理。
-
baseUri参数用于解决文件中URLs是相对路径的问题。如果不需要可以传入一个空的字符串。
-
另外还有一个方法parse(File in, String charsetName) 它使用文件的路径做为 baseUri。 这个方法适用于如果被解析文件位于网站的本地文件系统，且相关链接也指向该文件系统。
1.4 保证安全Stay safe
假如你可以让用户输入HTML内容，那么要小心避免跨站脚本攻击。利用基于Whitelist的清除器和clean(String bodyHtml, Whitelist whitelist) 方法来清除用户输入的恶意内容。
详情查看 第4节 [4.HTML清理](#4.HTML清理)
2. 数据抽取
2.1 使用DOM方法来遍历一个文档
有一个HTML文档要从中提取数据，并了解这个HTML文档的结构。将HTML解析成一个Document之后，就可以使用类似于DOM的方法进行操作。
File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");Element content = doc.getElementById("content");Elements links = content.getElementsByTag("a");for (Element link : links) {String linkHref = link.attr("href");String linkText = link.text();}
说明：Elements这个对象提供了一系列类似于DOM的方法来查找元素，抽取并处理其中的数据。具体如下：
2.1.1 查找元素
getElementById(String id) id getElementsByTag(String tag) 标签名 getElementsByClass(String className) class名 getElementsByAttribute(String key) 属性 siblingElements() 所有的兄弟元素 firstElementSibling() 第一个兄弟元素 lastElementSibling() 最后一个兄弟元素 nextElementSibling() 下一个兄弟元素 previousElementSibling() 上一个兄弟元素 parent() 获取该元素父节点 children() 获取该元素的子元素 child(int index) 获取该元素的第几个子元素（下标从0开始） 2.1.2 元素数据
attr(String key) 获取属性 attr(String key, String value) 设置属性 attributes() 获取所有属性 id() 获取该元素id className() 获取该元素class，多个class之间空格隔开 classNames() 获取所有元素的class text() 获取文本内容 text(String value) 设置文本内容 html() 获取元素内HTML html(String value) 设置元素内的HTML内容 outerHtml() 获取元素外HTML内容 data() 获取数据内容（例如：script和style标签) tag() tagName() 获取元素标签名 2.1.3 操作HTML和文本
append(String html) 添加给定的html到元素末尾 prepend(String html) 添加给定html到元素前面 appendText(String text) 创建并添加文本 prependText(String text) 创建并添加文本 appendElement(String tagName) 添加到元素末尾 prependElement(String tagName) 添加到元素前 html(String value) 设置元素值 2.2 使用选择器语法来查找元素(select)
使用 Element.select(String selector) 和 Elements.select(String selector)，使用类似于CSS或jQuery的语法来查找和操作元素。
File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");Elements links = doc.select("a[href]"); //带有href属性的a元素Elements pngs = doc.select("img[src$=.png]"); //扩展名为.png的图片Element masthead = doc.select("div.masthead").first();//class等于masthead的div标签Elements resultLinks = doc.select("h3.r > a"); //在h3元素之后的a元素
说明：
jsoup elements对象支持类似于CSS (或jquery)的选择器语法，来实现非常强大和灵活的查找功能。这个
select方法在Document, Element,或Elements 对象中都可以使用。且是上下文相关的，因此可实现指定元素的过滤，或者链式选择访问。Select方法将返回一个Elements 集合，并提供一组方法来抽取和处理结果。
2.2.1 Selector选择器 基本用法
tagname 使用标签名来定位，例如 a ns|tag 使用命名空间的标签定位，例如 fb:name 来查找 #id 使用元素 id 定位，例如 #logo .class 使用元素的 class 属性定位，例如 .head [attribute] 使用元素的属性进行定位，例如 [href] 表示检索具有 href 属性的所有元素 [^attr] 使用元素的属性名前缀进行定位，例如 [^data-] 用来查找 HTML5 的 dataset 属性 [attr=value] 使用属性值进行定位，例如 [width=500] 定位所有 width 属性值为 500 的元素 [attr^=value], [attr$=value], [attr*=value] 利用匹配属性值开头、结尾或包含属性值来查找元素，比如： [href*=/path/][attr~=regex] 利用属性值匹配正则表达式来查找元素，例如img[src~=(?i).(png|jpe?g)] * 定位所有元素 2.2.2 Selector选择器 组合使用
2.2.3 伪选择器selectors (表达式)：
:lt(n) 查找哪些元素的同级索引值（它的位置在DOM树中是相对于它的父节点）小于n，比如： td:lt(3)表示小于三列的元素:gt(n) 查找哪些元素的同级索引值大于 n``，比如：div p:gt(2)表示哪些div中有包含2个以上的p元素:eq(n) 查找哪些元素的同级索引值与 n相等，比如：form input:eq(1)表示包含一个input标签的Form元素:has(seletor) 查找匹配选择器包含元素的元素，比如： div:has(p)表示哪些div包含了p元素:not(selector) 查找与选择器不匹配的元素，比如： div:not(.logo)表示不包含 class=logo 元素的所有 div 列表:contains(text) 查找包含给定文本的元素，不区分大不写，比如： p:contains(jsoup):containsOwn(text) 查找文本信息完全等于指定条件的元素 :matches(regex) 使用正则表达式进行文本过滤：div:matches((?i)login) :matchesOwn(regex) 使用正则表达式找到自身的文本 - 注意：上述伪选择器索引是从0开始的，也就是说第一个元素索引值为0，第二个元素index为1等
- 可以查看Selector API参考来了解更详细的内容
2.3 从元素抽取属性，文本和HTML
- Node.attr(String key) 获取属性值
- Element.text() 获取元素中的文本值
- Element.html() 获取元素HTML内容
- Node.outerHtml() 获取元素HTML内容
String html = "An example link.
";Document doc = Jsoup.parse(html);//解析HTML字符串返回一个Document实现Element link = doc.select("a").first();//查找第一个a元素String text = doc.body().text(); // "An example link"//取得字符串中的文本String linkHref = link.attr("href"); // "http://example.com/"//取得链接地址String linkText = link.text(); // "example""//取得链接地址中的文本String linkOuterH = link.outerHtml();// "example"String linkInnerH = link.html(); // "example"//取得链接内的html内容
说明：
上述方法是元素数据访问的核心办法。此外还其它一些方法可以使用：- Element.id()
- Element.tagName()
- Element.className()
- Element.hasClass(String className)
这些访问器方法都有相应的setter方法来更改数据.
2.4 处理URLs
有一个包含相对URLs路径的HTML文档，需要将这些相对路径转换成绝对路径的URLs。
- 在解析文档时确保有指定
baseURI， - 然后使用
abs:属性前缀来取得包含baseURI的绝对路径
Document doc = Jsoup.connect("http://www.open-open.com").get();Element link = doc.select("a").first();String relHref = link.attr("href"); // == "/"String absHref = link.attr("abs:href"); // "http://www.open-open.com/"
说明：
在HTML元素中，URLs经常写成相对于文档位置的相对路径：.... 当你使用 Node.attr(String key) 方法来取得a元素的href属性时，它将直接返回在HTML源码中指定的值。假如你需要取得一个绝对路径，需要在属性名前加
abs:前缀。这样就可以返回包含根路径的URL地址attr("abs:href")，因此，在解析HTML文档时，定义baseURI非常重要。如果你不想使用
abs:前缀，还有一个方法能够实现同样的功能 Node.absUrl(String key)。2.5 示例程序: 获取所有链接
这个示例程序将展示如何从一个URL获得一个页面。然后提取页面中的所有链接、图片和其它辅助内容。并检查URLs和文本信息。运行下面程序需要指定一个URLs作为参数
package org.jsoup.examples;import org.jsoup.Jsoup;import org.jsoup.helper.Validate;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import java.io.IOException;/*** Example program to list links from a URL.*/public class ListLinks {public static void main(String[] args) throws IOException {Validate.isTrue(args.length == 1, "usage: supply url to fetch");String url = args[0];print("Fetching %s...", url);Document doc = Jsoup.connect(url).get();Elements links = doc.select("a[href]");Elements media = doc.select("[src]");Elements imports = doc.select("link[href]");print("\nMedia: (%d)", media.size());for (Element src : media) {if (src.tagName().equals("img"))print(" * %s: <%s> %sx%s (%s)",src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),trim(src.attr("alt"), 20));elseprint(" * %s: <%s>", src.tagName(), src.attr("abs:src"));}print("\nImports: (%d)", imports.size());for (Element link : imports) {print(" * %s <%s> (%s)", link.tagName(),link.attr("abs:href"), link.attr("rel"));}print("\nLinks: (%d)", links.size());for (Element link : links) {print(" * a: <%s> (%s)", link.attr("abs:href"), trim(link.text(), 35));}}private static void print(String msg, Object... args) {System.out.println(String.format(msg, args));}private static String trim(String s, int width) {if (s.length() > width)return s.substring(0, width-1) + ".";elsereturn s;}}
示例输入结果：
Fetching http://news.ycombinator.com/...Media: (38)* img: <http://ycombinator.com/images/y18.gif> 18x18 ()* img: <http://ycombinator.com/images/s.gif> 10x1 ()* img: <http://ycombinator.com/images/grayarrow.gif> x ()* img: <http://ycombinator.com/images/s.gif> 0x10 ()* script: <http://www.co2stats.com/propres.php?s=1138>* img: <http://ycombinator.com/images/s.gif> 15x1 ()* img: <http://ycombinator.com/images/hnsearch.png> x ()* img: <http://ycombinator.com/images/s.gif> 25x1 ()* img: <http://mixpanel.com/site_media/images/mixpanel_partner_logo_borderless.gif> x (Analytics by Mixpan.)Imports: (2)* link <http://ycombinator.com/news.css> (stylesheet)* link <http://ycombinator.com/favicon.ico> (shortcut icon)Links: (141)* a: <http://ycombinator.com> ()* a: <http://news.ycombinator.com/news> (Hacker News)* a: <http://news.ycombinator.com/newest> (new)* a: <http://news.ycombinator.com/newcomments> (comments)* a: <http://news.ycombinator.com/leaders> (leaders)* a: <http://news.ycombinator.com/jobs> (jobs)* a: <http://news.ycombinator.com/submit> (submit)* a: <http://news.ycombinator.com/x?fnid=JKhQjfU7gW> (login)* a: <http://news.ycombinator.com/vote?for=1094578&dir=up&whence=%6e%65%77%73> ()* a: <http://www.readwriteweb.com/archives/facebook_gets_faster_debuts_homegrown_php_compiler.php?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+readwriteweb+%28ReadWriteWeb%29&utm_content=Twitter> (Facebook speeds up PHP)* a: <http://news.ycombinator.com/user?id=mcxx> (mcxx)* a: <http://news.ycombinator.com/item?id=1094578> (9 comments)* a: <http://news.ycombinator.com/vote?for=1094649&dir=up&whence=%6e%65%77%73> ()* a: <http://groups.google.com/group/django-developers/msg/a65fbbc8effcd914> ("Tough. Django produces XHTML.")* a: <http://news.ycombinator.com/user?id=andybak> (andybak)* a: <http://news.ycombinator.com/item?id=1094649> (3 comments)* a: <http://news.ycombinator.com/vote?for=1093927&dir=up&whence=%6e%65%77%73> ()* a: <http://news.ycombinator.com/x?fnid=p2sdPLE7Ce> (More)* a: <http://news.ycombinator.com/lists> (Lists)* a: <http://news.ycombinator.com/rss> (RSS)* a: <http://ycombinator.com/bookmarklet.html> (Bookmarklet)* a: <http://ycombinator.com/newsguidelines.html> (Guidelines)* a: <http://ycombinator.com/newsfaq.html> (FAQ)* a: <http://ycombinator.com/newsnews.html> (News News)* a: <http://news.ycombinator.com/item?id=363> (Feature Requests)* a: <http://ycombinator.com> (Y Combinator)* a: <http://ycombinator.com/w2010.html> (Apply)* a: <http://ycombinator.com/lib.html> (Library)* a: <http://www.webmynd.com/html/hackernews.html> ()* a: <http://mixpanel.com/?from=yc> ()
3. 数据修改
3.1 设置属性的值
在解析一个Document之后可能想修改其中的某些属性值，然后再保存到磁盘或都输出到前台页面。
可以使用属性设置方法 Element.attr(String key, String value), 和 Elements.attr(String key, String value).
假如你需要修改一个元素的
class属性，可以使用 Element.addClass(String className) 和Element.removeClass(String className) 方法。Elements 提供了批量操作元素属性和class的方法，比如：要为div中的每一个a元素都添加一个
rel="nofollow"可以使用如下方法：doc.select("div.comments a").attr("rel", "nofollow");
说明：与Element 中的其它方法一样，
attr方法也是返回当前 Element (或在使用选择器是返回 Elements 集合)。这样能够很方便使用方法连用的书写方式。比如：doc.select("div.masthead").attr("title", "jsoup").addClass("round-box");
3.2 设置一个元素的HTML内容
Element div = doc.select("div").first(); //div.html("lorem ipsum
"); //lorem ipsum
div.prepend("First
");//在div前添加html内容div.append("Last
");//在div之后添加html内容// 添完后的结果:First
lorem ipsum
Last
Element span = doc.select("span").first(); // Onespan.wrap("- ");
// 添完后的结果:- One
说明：
- Element.html(String html) 这个方法将先清除元素中的HTML内容，然后用传入的HTML代替。
- Element.prepend(String first) 和 Element.append(String last) 方法用于在分别在元素内部HTML的前面和后面添加HTML内容
- Element.wrap(String around) 对元素包裹一个外部HTML内容。
3.3 设置元素的文本内容
Element div = doc.select("div").first(); //div.text("five > four"); //five > fourdiv.prepend("First ");div.append(" Last");// now:First five > four Last
说明：
文本设置方法与 HTML setter 方法一样：- Element.text(String text) 将清除一个元素中的内部HTML内容，然后提供的文本进行代替
- Element.prepend(String first) 和 Element.append(String last) 将分别在元素的内部html前后添加文本节点。
对于传入的文本如果含有像
<,>等这样的字符，将以文本处理，而非HTML。4.HTML清理
4.1 消除不受信任的HTML (防止XSS攻击)
在做网站的时候，经常会提供用户评论的功能。有些不怀好意的用户，会搞一些脚本到评论内容中，而这些脚本可能会破坏整个页面的行为，更严重的是获取一些机要信息，此时需要清理该HTML，以避免跨站脚本cross-site scripting攻击（XSS）。
使用jsoup HTML Cleaner 方法进行清除，但需要指定一个可配置的 Whitelist。说明：
XSS又叫CSS (Cross Site Script) ，跨站脚本攻击。它指的是恶意攻击者往Web页面里插入恶意html代码，当用户浏览该页之时，嵌入其中Web里面的html代码会被执行，从而达到恶意攻击用户的特殊目的。XSS属于被动式的攻击，因为其被动且不好利用，所以许多人常忽略其危害性。所以我们经常只让用户输入纯文本的内容，但这样用户体验就比较差了。一个更好的解决方法就是使用一个富文本编辑器WYSIWYG如CKEditor 和 TinyMCE。这些可以输出HTML并能够让用户可视化编辑。虽然他们可以在客户端进行校验，但是这样还不够安全，需要在服务器端进行校验并清除有害的HTML代码，这样才能确保输入到你网站的HTML是安全的。否则，攻击者能够绕过客户端的Javascript验证，并注入不安全的HMTL直接进入您的网站。
jsoup的whitelist清理器能够在服务器端对用户输入的HTML进行过滤，只输出一些安全的标签和属性。
jsoup提供了一系列的Whitelist基本配置，能够满足大多数要求；但如有必要，也可以进行修改，不过要小心。
这个cleaner非常好用不仅可以避免XSS攻击，还可以限制用户可以输入的标签范围。
jsoup 使用一个 Whitelist 类用来对 HTML 文档进行过滤，该类提供几个常用方法：
4.2 whitelist常用方法
API查看：Whitelist
方法名 简介 none() 只允许包含文本信息 basic() 允许的标签包括：a, b, blockquote, br, cite, code, dd, dl, dt, em, i, li, ol, p, pre, q, small, strike, strong, sub, sup, u, ul, 以及合适的属性 simpleText() 只允许 b, em, i, strong, u 这些标签 basicWithImages() 在 basic() 的基础上增加了图片 relaxed() 这个过滤器允许的标签最多，包括：a, b, blockquote, br, caption, cite, code, col, colgroup, dd, dl, dt, em, h1, h2, h3, h4, h5, h6, i, img, li, ol, p, pre, q, small, strike, strong, sub, sup, table, tbody, td, tfoot, th, thead, tr, u, ul 如果这五个过滤器都无法满足你的要求呢，例如你允许用户插入 flash 动画，没关系，Whitelist 提供扩展功能，例如 whitelist.addTags("embed","object","param","span","div"); 也可调用 addAttributes 为某些元素增加属性。
参考：
- 参阅XSS cheat sheet ，有一个例子可以了解为什么不能使用正则表达式，而采用安全的whitelist parser-based清理器才是正确的选择。
- 参阅Cleaner ，了解如何返回一个 Document 对象，而不是字符串
- 参阅Whitelist，了解如何创建一个自定义的whitelist
- nofollow 链接属性了解
5.更多参考
- select用法详解
- jsoup 总结
你可能感兴趣的:(爬虫)
- 没有关闭的标签 (比如：