Jsoup爬取心灵毒鸡汤

不乱于心，不困于情。不畏将来，不念过往。如此，安好。

你的梦想是什么

之前一直在搞微博，定时转发抽奖微博，搞定后，meilexiawen。最近想想定时发点有意思的东西也不错，发啥呢？毒鸡汤，没错！
【一个人至少拥有一个梦想，有一个理由去坚强。心若没有栖息的地方，到哪里都是在流浪。 ——三毛】

开始你的表演

1. 首先找个毒鸡汤网站，并定位关键节点。汤的成色还不错。

   

   心灵鸡汤

2. 按F12，对元素分析下。选中其中一个，右键Copy selector。

   

   #contentinside > div.totallikecontent > div > div > div.view-content > div.views-row.views-row-1.views-row-odd.views-row-first
   

   这样只能标识一个，好在jsoup.select支持正则。

   #contentinside > div.totallikecontent > div > div > div.view-content > div[class~=^views-row]
   

3. 开始编写代码。目前没发现网站有什么限制。除了.....

   public void getTotallike() throws IOException {
      String url = "http://www.juzimi.com/totallike";
      String ua = "User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36";
      Document parse = Jsoup.connect(url).userAgent(ua).execute().parse();
   
      Elements select = parse.select("#contentinside > div.totallikecontent > div > div > div.view-content > div[class~=^views-row]");
      for (Element element : select) {
          String author = element.select("div > div.xqjulistwafo").text();
          String content = element.select("div > div.views-field-phpcode-1 > a").text();
          System.out.println(content +"   "+author);
      }
   }
   

4. 存储这些鸡汤，倒掉怪可惜的，我这里就统一放到redis里，因为只爬了15条。

       ArrayList