Java实现网络爬虫:Jsoup解析页面

Java实现网络爬虫

  • Jsoup
    • 介绍
    • document的常用api
    • 使用css选择器解析页面

Jsoup

介绍

jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

一、使用方法
1)使用Jsoup工具类提供的方法parse,解析html,parse的参数可以是url、本地文件、String(html)、InputStream
解析之后得到一个Document对象。
2)可以使用Document对象的方法对页面进行解析

  1. 常用的方法
    根据id选择
    根据节点名称选择
    根据属性选择
    根据属性名称选择
    根据class名称选择
  2. 使用css选择器:和jQuery相同的css选择器,使用select方法执行css选择器。

document的常用api

Document的常用方法

  • 根据标签名称选择节点:getElementsByTag
  • 根据id选择节点:getElementById
  • 根据属性选择节点:判断节点是否包含此属性。getElementsByAttribute
  • 根据属性的值选择节点:getElementsByAttributeValue
  • 根据class选择节点:getElementsByClass
  • 取标签内的文本信息:text()
  • 取标签的属性:attr("属性名称")

爬取本地保存的html

<html>
 <head> 
  <title>传智播客官网-一样的教育,不一样的品质title> 
 head> 
 <body>
	<div class="city">
		<h3 id="city_bj">北京中心h3>
		<fb:img src="/2018czgw/images/slogan.jpg" class="slogan"/>
		<div class="city_in">
			<div class="city_con" style="display: none;">
				<ul>
					<li id="test" class="class_a class_b">
						<a href="http://www.itcast.cn" target="_blank">
							<span class="s_name">北京span>
						a>
					li>
					<li>
						<a href="http://sh.itcast.cn" target="_blank">
							<span class="s_name">上海span>
						a>
					li>
					<li>
						<a href="http://gz.itcast.cn" target="_blank">
							<span abc="123" class="s_name">广州span>
						a>
					li>
					<ul>
						<li>天津li>
					ul>					
				ul>
			div>
		div>
	div>
 body>
html>

package com.itheima.crawler;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.junit.Test;

import java.io.File;

public class JsoupTest {
    @Test
    public void parseHtml() throws Exception {
        //使用Jsoup工具类提供的方法parse,解析html
        //1、直接爬取页面解析
        //Document document = Jsoup.parse(new URL("http://www.itcast.cn"), 3000);
        //2、从本地的html解析
        Document document = Jsoup.parse(new File("D:\\1.html"),"utf-8");
        //解析标题
        Elements elements = document.getElementsByTag("title");
        //获取带标签的信息
        System.out.println(elements);
        //只获取文本信息
        for (Element element : elements) {
            System.out.println(element.text());
        }
        //获取链接地址
        System.out.println("取链接地址--------------");
        Elements elements1 = document.getElementsByTag("a");
        for (Element element : elements1) {
            System.out.println(element.attr("href"));
        }
        System.out.println("------------");
        //根据id选择节点
        Element test = document.getElementById("test");
        System.out.println(test.text());
        System.out.println("------------");
        //根据属性选择节点
        Elements elements2 = document.getElementsByAttribute("abc");
        for (Element element : elements2) {
            System.out.println(element);
        }
        System.out.println("------------");
        //根据属性值来选择节点
        Elements elements3 = document.getElementsByAttributeValue("target", "_blank");
        for (Element element : elements3) {
            System.out.println(element);
        }
        System.out.println("------------");
        //根据class选择节点
        Elements elements4 = document.getElementsByClass("s_name");
        for (Element element : elements4) {
            System.out.println(element);
        }
    }
}

结果
Java实现网络爬虫:Jsoup解析页面_第1张图片

使用css选择器解析页面

跟jQuery写法一样,如果不会写,就从页面中获取,如下图
Java实现网络爬虫:Jsoup解析页面_第2张图片

@Test
    public void testCssSelector() throws Exception {
        Document document = Jsoup.parse(new File("D:\\1.html"),"utf-8");
        //解析document对象
        //根据id选择
        Elements elements = document.select("#city_bj");
        for (Element element : elements) {
            System.out.println(element);
        }
        //根据标签名选择
        Elements elements1 = document.select("li");
        for (Element element : elements1) {
            System.out.println(element);
        }
        //根据class选择
        Elements elements2 = document.select(".s_name");
        for (Element element : elements2) {
            System.out.println(element);
        }
        //根据属性选择
        //Elements elements3 = document.select("[abc]");
        Elements elements3 = document.select("[abc='123']");
        for (Element element : elements3) {
            System.out.println(element);
        }
        System.out.println("--------------------");
        //css选择器组合使用
        //Elements elements4 = document.select("div.city > div.city_in div.city_con span[abc='123']");
        Elements elements4 = document.select("body > div > div > div > ul > li:nth-child(2) > a > span");
        for (Element element : elements4) {
            System.out.println(element);
        }
    }

你可能感兴趣的:(爬虫,JavaEE学习日志)