使用java开源工具httpClient及jsoup抓取解析网页数据

今天做项目的时候遇到这样一个需求，需要在网页上展示今日黄历信息，数据格式如下

• 　　公历时间：2016年04月11日 星期一
• 　　农历时间：猴年三月初五
• 　　天干地支：丙申年 壬辰月 癸亥日
• 　　宜：求子 祈福 开光 祭祀 安床
• 　　忌：玉堂（黄道）危日，忌出行

　　主要包括公历/农历日期，以及忌宜信息的等。但是手里并没有现成的数据可供使用，怎么办呢？

革命前辈曾经说过，没有枪，没有炮，敌（wang）人(luo)给我们造！网络上有很多现成的在线

万年历应用可供使用，虽然没有现成接口，但是我们可以伸出手来，自己去拿。也就是所谓的数据

抓取。

　　这里介绍两个使用的工具，httpClient以及jsoup,简介如下：

 

　　HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中，比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。

　　httpClient使用方法如下：

　　1. 创建HttpClient对象。

　　2. 创建请求方法的实例，并指定请求URL。

　　3. 调用HttpClient对象的execute(HttpUriRequest request)发送请求，该方法返回一个HttpResponse。

　　4. 调用HttpResponse相关方法获取相应内容。

　　5. 释放连接。

 

　　jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

 

　　需要更多信息可以参见官网下载地址 

　　httpClient:http://hc.apache.org/httpcomponents-client-5.0.x/index.html

　　jsoup:http://jsoup.org/

　　

　　接下来我们直接上代码，这里我们抓取2345在线万年历的数据 http://tools.2345.com/rili.htm

　　首先我们定义一个实体类Almanac来存储黄历数据

　　Almanac.java

 1 package com.likx.picker.util.bean;
 2 
 3 /**
 4  * 万年历工具实体类
 5  * 
 6  * @author 溯源blog
 7  * 2016年4月11日
 8  */
 9 public class Almanac {
10     private String solar;        /* 阳历 e.g.2016年 4月11日 星期一 */
11     private String lunar;        /* 阴历 e.g. 猴年 三月初五*/
12     private String chineseAra;    /* 天干地支纪年法 e.g.丙申年 壬辰月 癸亥日*/
13     private String should;        /* 宜e.g. 求子 祈福 开光 祭祀 安床*/
14     private String avoid;        /* 忌 e.g. 玉堂（黄道）危日，忌出行*/
15 
16     public String getSolar() {
17         return solar;
18     }
19 
20     public void setSolar(String date) {
21         this.solar = date;
22     }
23 
24     public String getLunar() {
25         return lunar;
26     }
27 
28     public void setLunar(String lunar) {
29         this.lunar = lunar;
30     }
31 
32     public String getChineseAra() {
33         return chineseAra;
34     }
35 
36     public void setChineseAra(String chineseAra) {
37         this.chineseAra = chineseAra;
38     }
39 
40     public String getAvoid() {
41         return avoid;
42     }
43 
44     public void setAvoid(String avoid) {
45         this.avoid = avoid;
46     }
47 
48     public String getShould() {
49         return should;
50     }
51 
52     public void setShould(String should) {
53         this.should = should;
54     }
55 
56     public Almanac(String solar, String lunar, String chineseAra, String should,
57             String avoid) {
58         this.solar = solar;
59         this.lunar = lunar;
60         this.chineseAra = chineseAra;
61         this.should = should;
62         this.avoid = avoid;
63     }
64 }

 

　　然后是抓取解析的主程序，写程序之前需要在官网下载需要的jar包

　　AlmanacUtil.java

package com.likx.picker.util;
import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;

import org.apache.http.HttpEntity;
import org.apache.http.ParseException;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
/**
 *<STRONG>类描述</STRONG> :  2345万年历信息爬取工具<p>
 *   
 * @version 1.0 <p>
 * @author 溯源blog
 * 
 * <STRONG>创建时间</STRONG> : 2016年4月11日 下午14:15:44<p>
 * <STRONG>修改历史</STRONG> :<p>
 *<pre>
 * 修改人                   修改时间                     修改内容
 * ---------------         -------------------         -----------------------------------
 *</pre>
 */
public class AlmanacUtil {
    
    /**
     * 单例工具类
     */
    private AlmanacUtil() {
    }
    /**
     * 获取万年历信息
     * @return
     */
    public static Almanac getAlmanac(){
        String url="http://tools.2345.com/rili.htm";
        String html=pickData(url);
        Almanac almanac=analyzeHTMLByString(html);
        return almanac;
    }
    
    /*
     * 爬取网页信息
     */
    private static String pickData(String url) {
        CloseableHttpClient httpclient = HttpClients.createDefault();
        try {
            HttpGet httpget = new HttpGet(url);
            CloseableHttpResponse response = httpclient.execute(httpget);
            try {
                // 获取响应实体
                HttpEntity entity = response.getEntity();
                // 打印响应状态
                if (entity != null) {
                    return EntityUtils.toString(entity);
                }
            } finally {
                response.close();
            }
        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (ParseException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            // 关闭连接,释放资源
            try {
                httpclient.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return null;
    }
    
    /*
     * 使用jsoup解析网页信息
     */
    private static Almanac analyzeHTMLByString(String html){
        String solarDate,lunarDate,chineseAra,should,avoid=" ";
        Document document = Jsoup.parse(html);
        //公历时间
        solarDate=getSolarDate();
        //农历时间
        Element eLunarDate=document.getElementById("info_nong");
        lunarDate=eLunarDate.child(0).html().substring(1,3)+eLunarDate.html().substring(11);
        //天干地支纪年法
        Element eChineseAra=document.getElementById("info_chang");
        chineseAra=eChineseAra.text().toString();    
        //宜
        should=getSuggestion(document,"yi");
        //忌
        avoid=getSuggestion(document,"ji");
        Almanac almanac=new Almanac(solarDate,lunarDate,chineseAra,should,avoid);
        return almanac;
    }
    /*
     * 获取忌/宜
     */
    private static String getSuggestion(Document doc,String id){
        Element element=doc.getElementById(id);
        Elements elements=element.getElementsByTag("a");
        StringBuffer sb=new StringBuffer();
        for (Element e : elements) {
            sb.append(e.text()+" ");
        }
        return sb.toString();
    }

    /*
     * 获取公历时间,用yyyy年MM月dd日 EEEE格式表示。
     * @return yyyy年MM月dd日 EEEE
     */
    private static String getSolarDate() {
        Calendar calendar = Calendar.getInstance();
        Date solarDate = calendar.getTime();
        SimpleDateFormat formatter = new SimpleDateFormat("yyyy年MM月dd日 EEEE");
        return formatter.format(solarDate);
    }

}

 

　　为了简单明了我把抓取解析抽象成了几个独立的方法，

　　其中pickData()方法使用httpClient来抓取数据到一个字符串中（就是在网页上点击查看源代码看到的HTML源码），

analyzeHTMLByString()方法来解析抓取到的字符串，getSuggestion方法把抓取方法类似的宜忌数据抽象到了

一起，另外因为公历时间可以很容易的自己生成就没有在网页上爬取。

 

　　然后下面是一个测试类简单测试下效果：

 AlmanacUtilTest.java

package com.likx.picker.util.test;

public class AlmanacUtilTest {
    
    public static void main(String args[]){
        Almanac almanac=AlmanacUtil.getAlmanac();
        System.out.println("公历时间："+almanac.getSolar());
        System.out.println("农历时间："+almanac.getLunar());
        System.out.println("天干地支："+almanac.getChineseAra());
        System.out.println("宜："+almanac.getShould());
        System.out.println("忌："+almanac.getAvoid());
    }
}

 

　　运行结果如下：

 

　　集成到实际项目中效果是这样的：

 

　　

 

　　另外最近博客一直没怎么更新，因为最近考虑到技术氛围的原因，离开了对日外包行业，前往

一家互联网公司就职。说一下最近的感受，那就是一个程序员最核心的竞争力不是学会了多少框架，

掌握多少种工具（当然这些对于程序员也不可或缺），而是扎实的基础以及快速学习的能力，比如今天

这个项目，从对httpClient，jsoup工具一无所知到编写出Demo代码总计大概1个多小时，在之前对于

我来说是不可想象的，在技术氛围浓厚的地方快速get技能的感觉，非常好。

　　当然本例只是一个非常浅显的小例子，网页上内容也很容易抓取，httpClient及jsoup工具更多强大

的地方没有体现到，比如httpClient不仅可以发送get请求，而且可以发送post请求，提交表单，传送

文件，还比如jsoup最强大的地方在于它支持仿jquery的选择器。本例仅仅使用了最简单的document.getElementById()

匹配元素，实际上jsoup的选择器异常强大，可以说它就是java版的jquery,比如这样：

 

Elements links = doc.select("a[href]"); // a with href
Elements pngs = doc.select("img[src$=.png]");
  // img with src ending .png
Element masthead = doc.select("div.masthead").first();
  // div with class=masthead
Elements resultLinks = doc.select("h3.r > a"); // direct a after h3