Jsoup网页内容抓取分析

 在Java 程序在解析HTML 文档时,大家应该晓得htmlparser 这个开源项目,我也是使用过,不过这个程序到了2006年就没有更新了。由于我的基础较差,对于扩展自定义的标签还是不太懂,还是有超时问题困扰,偶然的机会中发现有jsoup,而且更新到了1.72版,使用起来还是很容易上手的。下面写些使用心得:

        jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.

       jsuop是一款java的html解析器,提供一套非常省力的API,通过dom模型css和类似于jquery的方式来获取和操作数据。

      功能:1.解析一个Html文档,2.解析一个body片段

       

Java代码   收藏代码
  1. String html = "<html><head><title>First parse</title></head>"  
  2.   + "<body><p>Parsed HTML into a doc.</p></body></html>";  
  3. Document doc = Jsoup.parse(html);//分析文档,使用doc.toString()可以转为文本  
  4. Element body=doc.body();//获取body片段,使用body.toString()可以转为文本  

     

      获取方式:1.从本地文件加载   2.根据url地址获取

 

     

Java代码   收藏代码
  1. /**使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法 
  2.  *其中baseUri参数用于解决文件中URLs是相对路径的问题。 
  3.  *如果不需要可以传入一个空的字符串。 
  4.  */  
  5. File input = new File("/tmp/input.html");  
  6. Document doc = Jsoup.parse(input, "UTF-8""http://example.com/");  

  

Java代码   收藏代码
  1. /** 
  2.  *根据url直接获取内容,可以加入超时,get方法不行,就用post方法 
  3.  *我在实际应用中,出现404,405,504等错误信息 
  4.  *将get改为post就可以,或者反过来改 
  5.  *如果等以后弄明白了,再来解释清楚 
  6.  */  
  7. Document doc1 = Jsoup.connect("http://www.hao123.com/").get();  
  8. String title = doc1.title(); //获取网页的标题  
  9. String content=doc1.toString();//将网页转为文本  
  10.   
  11. Document doc2 = Jsoup.connect("http://www.hao123.com")  
  12.   .data("query""Java")//请求参数  
  13.   .userAgent("Mozilla")//设置urer-agent  
  14.   .cookie("auth""token")//设置cookie  
  15.   .timeout(50000)//设置连接超时  
  16.   .post();//或者改为get  
  17. 经过我的测试使用,jsoup分析网页结构和内容的功能远远强大于HtmlParser,无论是获取整个页面的文本,还是分析特定内容的网页结构,都是十分的方便。

     

            附上链接:jsoup官网:http://jsoup.org/ ,中文jsoup:http://www.open-open.com/jsoup/

         下面写些我的使用记录,希望大家如果能从我的方法中得到启发,鉴于本人从事开发工作不久,内容可能写的不是很好。

     

         jsoup数据获取有两大方法:1.通过分析dom模型的网页标签和元素,2.select元素选择器,类似jquery方式(功能很强大,还支持正则表达式)。网页tag标签有body,div,table,tr,td,a,等等。元素的属性有,href,title,width,height,color等等,元素属性的值就是,例如:href=“www.baidu.com”, 值就是www.baidu.com 。width=“98%” 值就是98%

         

          下面就以分析http://www.iteye.com首页的每日资讯为例,抓取每日资讯的标题和url地址,详细写出分析步骤:

     

           1.用chrome浏览器的元素审查,分析页面的结构,得到每日资讯是div class=<main_left>层里面
    Jsoup网页内容抓取分析_第1张图片
     

         2.写程序分析,首先根据url获取div文本,再来根据文本对内容进行分析

     

    Java代码   收藏代码
    1. /** 
    2.  * 根据jsoup方法获取htmlContent 
    3.         * 加入简单的时间记录 
    4.  * @throws IOException  
    5.  */  
    6. public static String getContentByJsoup(String url){  
    7.     String content="";  
    8.     try {  
    9.         System.out.println("time=====start");  
    10.         Date startdate=new Date();  
    11.         Document doc=Jsoup.connect(url)  
    12.         .data("jquery""java")  
    13.         .userAgent("Mozilla")  
    14.         .cookie("auth""token")  
    15.         .timeout(50000)  
    16.         .get();  
    17.         Date enddate=new Date();  
    18.         Long time=enddate.getTime()-startdate.getTime();  
    19.         System.out.println("使用Jsoup耗时=="+time);  
    20.         System.out.println("time=====end");  
    21.         content=doc.toString();//获取iteye网站的源码html内容  
    22.         System.out.println(doc.title());//获取iteye网站的标题  
    23.     } catch (IOException e) {  
    24.         e.printStackTrace();  
    25.     }  
    26.     System.out.println(content);   
    27.     return content;  
    28. }  

     

         3. 根据整个每日资讯所在的div层,获取那段内容(精确获取)

     

    Java代码   收藏代码
    1.        /** 
    2.  * 使用jsoup来对文档分析 
    3.         * 获取目标内容所在的目标层 
    4.         * 这个目标层可以是div,table,tr等等 
    5.  */  
    6. public static String getDivContentByJsoup(String content){  
    7.     String divContent="";  
    8.     Document doc=Jsoup.parse(content);  
    9.     Elements divs=doc.getElementsByClass("main_left");  
    10.     divContent=divs.toString();  
    11.       //System.out.println("div==="+divContent);  
    12.     return divContent;  
    13. }  

        

         4.根据获取的目标层得到你所要的内容(title,url地址...等等)

     

          

    Java代码   收藏代码
    1. /** 
    2.      * 使用jsoup分析divContent 
    3.      * 1.获取链接 2.获取url地址(绝对路径) 
    4.      */  
    5.     public static void getLinksByJsoup(String divContent){  
    6.         String abs="http://www.iteye.com/";  
    7.         Document doc=Jsoup.parse(divContent,abs);  
    8.         Elements linkStrs=doc.getElementsByTag("li");  
    9.         System.out.println("链接==="+linkStrs.size());  
    10.         for(Element linkStr:linkStrs){  
    11.             String url=linkStr.getElementsByTag("a").attr("abs:href");  
    12.             String title=linkStr.getElementsByTag("a").text();  
    13.             System.out.println("标题:"+title+" url:"+url);  
    14.         }  
    15.     }  

     

         5.加入main方法里面执行测试

     

    Java代码   收藏代码
    1. /** 
    2.      * @method 测试获取内容程序 
    3.      */  
    4.     public static void main(String[] args) throws IOException {  
    5.           
    6.         /** 
    7.          * 执行分析程序 
    8.          */  
    9.         String url="http://www.iteye.com/";  
    10.         String HtmlContent=getContentByJsoup(url);  
    11.         String divContent=getDivContentByJsoup(HtmlContent);  
    12.         getLinksByJsoup(divContent);  
    13.     }  

     

         6.附上结束语:jsoup功能很好很强大,附上的只是简单的使用方法,还有很多需要完善的内容,我其实使用也不到几天的时间。还有就是select功能还是很好用的,具体参考官方文档,写的非常的通俗易懂


    感兴趣的也可以试试htmlcleaner+xpath的组合

你可能感兴趣的:(java,爬虫,JSoup)