java jsoup 网络爬虫 学习例子（二） 只抓取豆瓣电影5星（力荐）电影名称

 package com.iteye.injavawetrust.review;

 /**
  *
  * @author InJavausWeTrust
  *
  */
 public enum Star {

     one("很差"), two("较差"), three("还行"), four("推荐"), five("力荐");

     private String star;

     private Star(String star) {
         this.star = star;
     }

     public String getStar() {
         return star;
     }

 }


 package com.iteye.injavawetrust.review;

 /**
  *
  * @author InJavaWeTrust
  *
  */
 public class DouBanReview {

     public static void main(String[] args) {
         JsoupUtil ju = JsoupUtil.getInstance();
         ju.getDoubanReview();
     }

 }



 package com.iteye.injavawetrust.review;

 /**
  *
  * @author InJavaWeTrust
  *
  */
 public class Constants {

     /**
      * 豆瓣最受欢迎的影评URL
      */
     public static final String URL = "http://movie.douban.com/review/best/";
     /**
      * 每页显示记录条数
      */
     public static final int NUM = 10;

     /**
      * 拼接分页
      */
     public static final String START = "?start=";

 }



 package com.iteye.injavawetrust.review;

 import java.io.File;
 import java.io.FileNotFoundException;
 import java.io.FileWriter;
 import java.io.IOException;
 import java.io.Writer;
 import java.util.Iterator;

 import org.jsoup.Connection;
 import org.jsoup.Jsoup;
 import org.jsoup.nodes.Document;
 import org.jsoup.nodes.Element;
 import org.jsoup.select.Elements;

 /**
  *
  * @author InJavaWeTrust
  *
  */
 public class JsoupUtil {

     private JsoupUtil() {

     }

     private static final JsoupUtil instance = new JsoupUtil();

     public static JsoupUtil getInstance() {
         return instance;
     }

     /**
      * 将电影名称和评论写入文件
      * @param name 电影名称
      * @param star 评论
      */
     public void writeFile(String name, String star){
         File file = new File("E:\\douban\\fiveStarReview.txt");
         Writer writer = null;
         try {
             writer = new FileWriter(file, true);
             writer.write(star + "   " + name + "\r\n");
             writer.flush();
         } catch (FileNotFoundException e) {
             e.printStackTrace();
         } catch (IOException e) {
             e.printStackTrace();
         } finally {
             if(null != writer){
                 try {
                     writer.close();
                 } catch (IOException e) {
                     e.printStackTrace();
                 }
             }
         }
     }

     /**
      * 只抓取5星(力荐)电影名称
      */
     public void getDoubanReview(){
         try {
             //只得到1-5页数据
             for(int i = 0; i < 5; i++){
                 String url = Constants.URL + Constants.START + String.valueOf(i * Constants.NUM);
                 System.out.println(url);
                 Connection connection = Jsoup.connect(url);
                 Document document = connection.get();
                 Elements ul = document.select("ul"); // 得到ul标签
                 Iterator ulIter = ul.iterator();
                 while (ulIter.hasNext()) {
                     Element element = ulIter.next();
                     Elements eleLi = element.select("li.clst*"); // 得到ul里的li.clst*标签
                     Iterator liIter = eleLi.iterator();
                     while (liIter.hasNext()) {
                         Element liElement = liIter.next();
                         Elements eleSpan = liElement.select("span.pl*"); // 得到ul里的li.clst*里span.pl*的标签
                         Elements eleHref = eleSpan.select("a[href]");
                         String name = eleHref.text().substring(eleHref.text().indexOf("《"));
                         Elements eleStar = eleSpan.select("span[title]");
                         String star = eleStar.attr("title");
                         //抓取5星(力荐)电影名称
                         if(Star.five.getStar().equals(star)) {
                             System.out.println(name + " " + star);
                             JsoupUtil.getInstance().writeFile(name, star); //写入文件
                         }
                     }
                 }
             }


         } catch (IOException e) {
             e.printStackTrace();
         }
     }

 }

 

 

运行结果：

 

http://movie.douban.com/review/best/?start=0
《太阳的后裔》 力荐
《银翼杀手》 力荐
《维京传奇 第三季》 力荐
《因为爱情有幸福》 力荐
《卡罗尔》 力荐
《火影忍者剧场版：博人传》 力荐
http://movie.douban.com/review/best/?start=10
《太阳的后裔》 力荐
《后宫·甄嬛传》 力荐
《怪物之子》 力荐
《太阳的后裔》 力荐
http://movie.douban.com/review/best/?start=20
《太阳的后裔》 力荐
《重庆森林》 力荐
《浴血重生》 力荐
《夜班经理》 力荐
《没有宇宙我们无法生存》 力荐
《女巫》 力荐
http://movie.douban.com/review/best/?start=30
《邮差》 力荐
《特鲁曼》 力荐
《上瘾》 力荐
《喜剧之王》 力荐
《詹姆斯·伯罗斯特辑》 力荐
http://movie.douban.com/review/best/?start=40
《太阳的后裔》 力荐
《浴血重生》 力荐
《奶酪陷阱》 力荐
《卧虎藏龙》 力荐
《太阳的后裔》 力荐