jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
以下内容来自http://www.open-open.com/jsoup/parse-body-fragment.htm(有删改)
[toc]
入门
1.解析和遍历一个HTML文档
如何解析一个HTML文档:
String html = "First parse "
+ "Parsed HTML into a doc.
";
Document doc = Jsoup.parse(html);
(更详细内容可查看 解析一个HTML字符串.)
其解析器能够尽最大可能从你提供的HTML文档来创见一个干净的解析结果,无论HTML的格式是否完整。比如它可以处理:
没有关闭的标签 (比如: Lorem Ipsum Lorem Ipsum 文档由多个Elements和TextNodes组成 (以及其它辅助nodes:详细可查看:nodes package tree). 来自用户输入,一个文件或一个网站的HTML字符串,你可能需要对它进行解析并取其内容,或校验其格式是否完整,或想修改它。怎么办?jsonu能够帮你轻松解决这些问题 使用静态 Parsed HTML into a doc. 只要解析的不是空字符串,就能返回一个结构合理的文档,其中包含(至少)一个head和一个body元素。 一旦拥有了一个Document,你就可以使用Document中适当的方法或它父类 假如你有一个HTML片断 (比如. 一个 使用 Lorem ipsum. 假如你可以让用户输入HTML内容,那么要小心避免跨站脚本攻击。利用基于 你需要从一个网站获取和解析一个HTML文档,并查找其中的相关数据。你可以使用下面解决方法: 使用 Jsoup.connect(String url)方法: connect(String url) 方法创建一个新的 Connection, 和 get() 取得和解析一个HTML文件。如果从该URL获取HTML时发生错误,便会抛出 IOException,应适当处理。 Connection 接口还提供一个方法链来解决特殊请求,具体如下: 这个方法只支持Web URLs (http和https 协议); 假如你需要从一个文件加载,可以使用 在本机硬盘上有一个HTML文件,需要对它进行解析从中抽取数据或进行修改。 可以使用静态 另外还有一个方法 你有一个HTML文档要从中提取数据,并了解这个HTML文档的结构。 将HTML解析成一个 Elements这个对象提供了一系列类似于DOM的方法来查找元素,抽取并处理其中的数据。具体如下: 查找元素
parses to
)
隐式标签 (比如. 它可以自动将
包装成Table data ?)
创建可靠的文档结构(html标签包含head 和 body,在head只出现恰当的元素)
一个文档的对象模型
其继承结构如下:Document
继承Element
继承Node
. TextNode
继承Node
.
一个Element包含一个子节点集合,并拥有一个父Element。他们还提供了一个唯一的子元素过滤列表。输入
2、 解析一个HTML字符串
存在问题
解决方法
Jsoup.parse(String html)
方法或Jsoup.parse(String html, String baseUri)
示例代码:String html = "
描述
parse(String html, String baseUri)
这方法能够将输入的HTML解析为一个新的文档 (Document),参数 baseUri 是用来将相对 URL 转成绝对URL,并指定从哪个网站获取文档。如这个方法不适用,你可以使用parse(String html)
方法来解析成HTML字符串如上面的示例。.[Element]
和[Node]
中的方法来取得相关数据。
3、解析一个body片断
问题
div
包含一对p
标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片断可以是用户提交的一条评论或在一个CMS页面中编辑body部分。办法
Jsoup.parseBodyFragment(String html)
方法.String html = "
说明
parseBodyFragment
方法创建一个空壳的文档,并插入解析过的HTML到body
元素中。假如你使用正常的 [Jsoup.parse(String html)](http://jsoup.org/apidocs/org/jsoup/Jsoup.html#parse(java.lang.String) "Parse HTML into a Document.")
方法,通常你也可以得到相同的结果,但是明确将用户输入作为 body片段处理,以确保用户所提供的任何糟糕的HTML都将被解析成body元素。[Document.body()](http://jsoup.org/apidocs/org/jsoup/nodes/Document.html#body() "Accessor to the document's body element.")
方法能够取得文档body元素的所有子元素,与 doc.getElementsByTag("body")
相同。保证安全Stay safe
[Whitelist]
的清除器和 clean(String bodyHtml, Whitelist whitelist)
方法来清除用户输入的恶意内容。
4.从一个URL加载一个Document
存在问题
解决方法
Document doc = Jsoup.connect("http://example.com/").get();
String title = doc.title();
说明
Document doc = Jsoup.connect("http://example.com")
.data("query", "Java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(3000)
.post();
parse(File in, String charsetName)
代替。5.从一个文件加载一个文档
问题
办法
Jsoup.parse(File in, String charsetName, String baseUri)
方法:File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
说明
parse(File in, String charsetName, String baseUri)
这个方法用来加载和解析一个HTML文件。如在加载文件的时候发生错误,将抛出IOException
,应作适当处理。baseUri
参数用于解决文件中URLs是相对路径的问题。如果不需要可以传入一个空的字符串。parse(File in, String charsetName)
,它使用文件的路径做为 baseUri。 这个方法适用于如果被解析文件位于网站的本地文件系统,且相关链接也指向该文件系统。数据抽取
6.使用DOM方法来遍历一个文档
问题
方法
Documen
t之后,就可以使用类似于DOM的方法进行操作。示例代码:File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
String linkHref = link.attr("href");
String linkText = link.text();
}
说明
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key)
(and related methods)
Element siblings: siblingElements()
,firstElementSibling()
, lastElementSibling()
; nextElementSibling()
, previousElementSibling()
Graph: parent()
, children()
, child(int index)
元素数据
attr(String key)
获取属性attr(String key, String value)
设置属性
attributes()
获取所有属性
id()
, className()
andclassNames()
text()
获取文本内容text(String value)
设置文本内容
html()
获取元素内HTMLhtml(String value)
设置元素内的HTML内容
outerHtml()
获取元素外HTML内容
data()
获取数据内容(例如:script和style标签)
tag()
and tagName()
操作HTML和文本
append(String html)
, prepend(String html)
appendText(String text)
, prependText(String text)
appendElement(String tagName)
, prependElement(String tagName)
html(String value)
你可能感兴趣的:(jsoup-htm解析器)