java简单的爬虫(今日头条)

之前在做资讯站的时候需要用到爬虫来获取一些文章,今天刚好有空就研究了一下.在网上看到了一个demo,使用的是Jsoup,我拿过来修改了一下,
由于今日头条的文章的特殊性,所以无法直接获取文章的地址,需要获取文章的id然后在拼接成url再访问.

public class Demo2 {

 public static void main(String[] args) {

    // 需要爬的网页的文章列表
    String url = "http://www.toutiao.com/news_finance/";
    //文章详情页的前缀(由于今日头条的文章都是在group这个目录下,所以定义了前缀,而且通过请求获取到的html页面)
    String url2="http://www.toutiao.com/group/";
    //链接到该网站
    Connection connection = Jsoup.connect(url);
    Document content = null;
    try {
        //获取内容
        content = connection.get();
    } catch (IOException e) {
        e.printStackTrace();
    }
    //转换成字符串
    String htmlStr = content.html();
    //因为今日头条的文章展示比较奇葩,都是通过js定义成变量,所以无法使用获取dom元素的方式获取值
    String jsonStr = StringUtils.substringBetween(htmlStr,"var _data = ", ";");
    System.out.println(jsonStr);
    Map parse = (Map) JSONObject.parse(jsonStr);
    JSONArray parseArray = (JSONArray) parse.get("real_time_news");
    Map map=null;
    List