java爬取豆瓣电影TOP250排行

使用到的jar包

jsoup-1.11.3.jar

代码如下：

package test;

import java.io.IOException;
import java.util.ArrayList;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Test2 {
    public static void main(String[] args) throws IOException {
        String s1 = "https://movie.douban.com/top250?start=";
        String s2 = "&filter=";
        String link = null;   // 电影的链接
        String title = null;  // 电影名称
        String score = null;  // 电影评分
        String num = null ;   // 获取评价人数
        // 存储待爬取的网址url链接
        ArrayList list = new ArrayList<>();
        for (int i = 0; i <= 225; i += 25) {
            list.add(s1+i+s2);
        }
        // 遍历url集合 爬取网页数据
        for (String string : list) {
            Document doc = Jsoup.connect(string).userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:60.0) Gecko/20100101 Firefox/60.0").timeout(6000).get();
            Element content = doc.getElementById("content");
            Elements infos = content.getElementsByClass("info");
            for (Element element : infos) {
                Element links = element.getElementsByTag("a").get(0);
                Element star = element.getElementsByClass("star").get(0);
                link = links.attr("href");        // 获取电影的链接
                title = links.child(0).html();    // 获取电影名称
                score = star.child(1).html();     // 获取电影评分
                num = star.child(3).html();       // 获取评价人数
                System.out.println(link + "\t" + title + "\t评分" + score + "\t" + num);
            }
        }
    }
}

运行结果：

https://movie.douban.com/subject/1292052/   肖申克的救赎  评分9.6   1086603人评价
https://movie.douban.com/subject/1291546/   霸王别姬    评分9.5   793197人评价
https://movie.douban.com/subject/1295644/   这个杀手不太冷 评分9.4   1010577人评价
https://movie.douban.com/subject/1292720/   阿甘正传    评分9.4   861187人评价
https://movie.douban.com/subject/1292063/   美丽人生    评分9.5   503245人评价
https://movie.douban.com/subject/1292722/   泰坦尼克号   评分9.3   801019人评价
https://movie.douban.com/subject/1291561/   千与千寻    评分9.3   803266人评价
https://movie.douban.com/subject/1295124/   辛德勒的名单  评分9.4   456329人评价
https://movie.douban.com/subject/3541415/   盗梦空间    评分9.3   892700人评价
https://movie.douban.com/subject/2131459/   机器人总动员  评分9.3   586980人评价
https://movie.douban.com/subject/3793023/   三傻大闹宝莱坞 评分9.2   802971人评价
https://movie.douban.com/subject/3011091/   忠犬八公的故事 评分9.3   562588人评价
https://movie.douban.com/subject/1292001/   海上钢琴师   评分9.2   681301人评价
https://movie.douban.com/subject/1291549/   放牛班的春天  评分9.2   541264人评价
https://movie.douban.com/subject/1292213/   大话西游之大圣娶亲   评分9.2   594158人评价
https://movie.douban.com/subject/1292064/   楚门的世界   评分9.1   568740人评价
https://movie.douban.com/subject/1291841/   教父  评分9.2   403927人评价
https://movie.douban.com/subject/1291560/   龙猫  评分9.1   497484人评价
https://movie.douban.com/subject/1889243/   星际穿越    评分9.2   593559人评价
https://movie.douban.com/subject/5912992/   熔炉  评分9.2   329330人评价
https://movie.douban.com/subject/6786002/   触不可及    评分9.2   436055人评价
https://movie.douban.com/subject/1307914/   无间道 评分9.1   484191人评价
https://movie.douban.com/subject/1300267/   乱世佳人    评分9.2   311878人评价
https://movie.douban.com/subject/1849031/   当幸福来敲门  评分8.9   638517人评价
https://movie.douban.com/subject/3319755/   怦然心动    评分8.9   676498人评价
https://movie.douban.com/subject/1291828/   天堂电影院   评分9.1   348702人评价
https://movie.douban.com/subject/1293182/   十二怒汉    评分9.4   199648人评价
https://movie.douban.com/subject/1851857/   蝙蝠侠：黑暗骑士    评分9.1   390765人评价
https://movie.douban.com/subject/1291858/   鬼子来了    评分9.2   276697人评价
https://movie.douban.com/subject/1929463/   少年派的奇幻漂流    评分9.0   668537人评价
https://movie.douban.com/subject/25662329/  疯狂动物城   评分9.1   628520人评价
https://movie.douban.com/subject/1292365/   活着  评分9.1   325055人评价
https://movie.douban.com/subject/1292000/   搏击俱乐部   评分9.0   447253人评价
https://movie.douban.com/subject/1291552/   指环王3：王者无敌   评分9.1   328779人评价
https://movie.douban.com/subject/1291583/   天空之城    评分9.0   386143人评价
https://movie.douban.com/subject/1299398/   大话西游之月光宝盒   评分8.9   478497人评价
https://movie.douban.com/subject/2129039/   飞屋环游记   评分8.9   580912人评价
https://movie.douban.com/subject/1293839/   罗马假日    评分8.9   444812人评价
https://movie.douban.com/subject/1296141/   控方证人    评分9.6   123780人评价
https://movie.douban.com/subject/1900841/   窃听风暴    评分9.1   261635人评价
https://movie.douban.com/subject/1293350/   两杆大烟枪   评分9.1   307280人评价
https://movie.douban.com/subject/1292224/   飞越疯人院   评分9.0   311535人评价
https://movie.douban.com/subject/1298624/   闻香识女人   评分8.9   376223人评价
https://movie.douban.com/subject/1308807/   哈尔的移动城堡 评分8.9   413750人评价
https://movie.douban.com/subject/21937445/  辩护人 评分9.2   254516人评价
https://movie.douban.com/subject/1309046/   V字仇杀队   评分8.8   487132人评价
https://movie.douban.com/subject/3442220/   海豚湾 评分9.3   203398人评价
https://movie.douban.com/subject/1291548/   死亡诗社    评分9.0   323745人评价
https://movie.douban.com/subject/1299131/   教父2 评分9.1   217801人评价
https://movie.douban.com/subject/26387939/  摔跤吧！爸爸  评分9.1   559144人评价
https://movie.douban.com/subject/1291572/   指环王2：双塔奇兵   评分9.0   308766人评价
https://movie.douban.com/subject/1306029/   美丽心灵    评分8.9   347774人评价
https://movie.douban.com/subject/1291571/   指环王1：魔戒再现   评分8.9   345639人评价
https://movie.douban.com/subject/1291818/   饮食男女    评分9.1   236430人评价
https://movie.douban.com/subject/1292220/   情书  评分8.8   427504人评价
https://movie.douban.com/subject/1292262/   美国往事    评分9.1   199339人评价
https://movie.douban.com/subject/1301753/   狮子王 评分8.9   323415人评价
https://movie.douban.com/subject/21937452/  素媛  评分9.1   218880人评价
https://movie.douban.com/subject/1296736/   钢琴家 评分9.0   229123人评价
https://movie.douban.com/subject/1303021/   小鞋子 评分9.2   162298人评价
https://movie.douban.com/subject/1292223/   七宗罪 评分8.7   484782人评价
https://movie.douban.com/subject/1787291/   被嫌弃的松子的一生   评分8.9   338196人评价
https://movie.douban.com/subject/1292215/   天使爱美丽   评分8.7   538224人评价
https://movie.douban.com/subject/1780330/   致命魔术    评分8.8   391411人评价
https://movie.douban.com/subject/1485260/   本杰明·巴顿奇事    评分8.8   444214人评价
https://movie.douban.com/subject/1294408/   音乐之声    评分8.9   261219人评价
https://movie.douban.com/subject/1294639/   勇敢的心    评分8.8   324901人评价
https://movie.douban.com/subject/1292402/   西西里的美丽传说    评分8.8   406836人评价
https://movie.douban.com/subject/1291832/   低俗小说    评分8.8   381480人评价
https://movie.douban.com/subject/1292849/   拯救大兵瑞恩  评分8.9   275133人评价
https://movie.douban.com/subject/1291843/   黑客帝国    评分8.8   321559人评价
https://movie.douban.com/subject/1292370/   剪刀手爱德华  评分8.7   543671人评价
https://movie.douban.com/subject/3742360/   让子弹飞    评分8.7   717173人评价
https://movie.douban.com/subject/1293544/   沉默的羔羊   评分8.7   397598人评价
https://movie.douban.com/subject/26580232/  看不见的客人  评分8.7   414360人评价
https://movie.douban.com/subject/1292343/   蝴蝶效应    评分8.7   431065人评价
https://movie.douban.com/subject/2149806/   入殓师 评分8.8   347517人评价
https://movie.douban.com/subject/1418019/   大闹天宫    评分9.3   119519人评价
https://movie.douban.com/subject/1292679/   春光乍泄    评分8.8   282954人评价
https://movie.douban.com/subject/1293172/   末代皇帝    评分9.0   204044人评价
https://movie.douban.com/subject/3072124/   玛丽和马克思  评分8.9   251130人评价
https://movie.douban.com/subject/1292656/   心灵捕手    评分8.8   309293人评价
https://movie.douban.com/subject/1291875/   阳光灿烂的日子 评分8.8   308502人评价
https://movie.douban.com/subject/1297359/   幽灵公主    评分8.8   263935人评价
https://movie.douban.com/subject/1297630/   第六感 评分8.8   262787人评价
https://movie.douban.com/subject/1295038/   哈利·波特与魔法石   评分8.8   304295人评价
https://movie.douban.com/subject/11525673/  布达佩斯大饭店 评分8.8   367283人评价
https://movie.douban.com/subject/2334904/   禁闭岛 评分8.7   408137人评价
https://movie.douban.com/subject/1291999/   重庆森林    评分8.7   375454人评价
https://movie.douban.com/subject/1305487/   猫鼠游戏    评分8.8   268210人评价
https://movie.douban.com/subject/6985810/   狩猎  评分9.0   150906人评价
https://movie.douban.com/subject/1297192/   致命ID    评分8.7   359281人评价
https://movie.douban.com/subject/1291545/   大鱼  评分8.7   282134人评价
https://movie.douban.com/subject/1418834/   断背山 评分8.7   358724人评价
https://movie.douban.com/subject/1316510/   射雕英雄传之东成西就  评分8.7   308149人评价
https://movie.douban.com/subject/1305164/   甜蜜蜜 评分8.8   256684人评价
https://movie.douban.com/subject/4268598/   告白  评分8.7   381657人评价
https://movie.douban.com/subject/1298070/   加勒比海盗   评分8.6   390648人评价
https://movie.douban.com/subject/1292434/   一一  评分8.9   173315人评价
https://movie.douban.com/subject/4917726/   阳光姐妹淘   评分8.8   301090人评价
https://movie.douban.com/subject/3008247/   穿条纹睡衣的男孩    评分8.9   173537人评价
https://movie.douban.com/subject/1294371/   摩登时代    评分9.2   103197人评价
https://movie.douban.com/subject/1292208/   上帝之城    评分8.9   171656人评价
https://movie.douban.com/subject/1652587/   阿凡达 评分8.6   589548人评价
https://movie.douban.com/subject/1296339/   爱在黎明破晓前 评分8.7   248714人评价
https://movie.douban.com/subject/21318488/  消失的爱人   评分8.7   403534人评价
https://movie.douban.com/subject/1291585/   风之谷 评分8.8   196249人评价
https://movie.douban.com/subject/1291990/   爱在日落黄昏时 评分8.7   221214人评价
https://movie.douban.com/subject/1297052/   侧耳倾听    评分8.8   191270人评价
https://movie.douban.com/subject/5322596/   超脱  评分8.8   196842人评价
https://movie.douban.com/subject/1297447/   倩女幽魂    评分8.6   290627人评价
https://movie.douban.com/subject/21360417/  恐怖直播    评分8.7   256497人评价
https://movie.douban.com/subject/1865703/   红辣椒 评分8.9   154274人评价
https://movie.douban.com/subject/25814705/  小森林 夏秋篇 评分8.9   155881人评价
https://movie.douban.com/subject/1302425/   喜剧之王    评分8.6   361177人评价
https://movie.douban.com/subject/2353023/   驯龙高手    评分8.7   318498人评价
https://movie.douban.com/subject/1293359/   菊次郎的夏天  评分8.7   208173人评价
https://movie.douban.com/subject/1292274/   幸福终点站   评分8.7   248539人评价
https://movie.douban.com/subject/1293318/   萤火虫之墓   评分8.7   224880人评价
https://movie.douban.com/subject/4202302/   借东西的小人阿莉埃蒂  评分8.7   241620人评价
https://movie.douban.com/subject/3287562/   神偷奶爸    评分8.5   425609人评价
https://movie.douban.com/subject/1295399/   七武士 评分9.2   86232人评价
https://movie.douban.com/subject/3792799/   岁月神偷    评分8.6   333322人评价
https://movie.douban.com/subject/1300299/   杀人回忆    评分8.7   231531人评价
https://movie.douban.com/subject/1417598/   电锯惊魂    评分8.7   217876人评价
https://movie.douban.com/subject/2209573/   贫民窟的百万富翁    评分8.5   426616人评价
https://movie.douban.com/subject/1303037/   喜宴  评分8.8   155951人评价
https://movie.douban.com/subject/1578507/   谍影重重3   评分8.7   198303人评价
https://movie.douban.com/subject/1292401/   真爱至上    评分8.5   342368人评价
https://movie.douban.com/subject/1291579/   怪兽电力公司  评分8.6   270661人评价
https://movie.douban.com/subject/1292328/   东邪西毒    评分8.6   278760人评价
https://movie.douban.com/subject/3443389/   海洋  评分9.0   104681人评价
https://movie.douban.com/subject/1304447/   记忆碎片    评分8.5   306037人评价
https://movie.douban.com/subject/1291870/   雨人  评分8.6   226169人评价
https://movie.douban.com/subject/1978709/   黑天鹅 评分8.5   455700人评价
https://movie.douban.com/subject/1907966/   疯狂原始人   评分8.7   405791人评价
https://movie.douban.com/subject/1291822/   卢旺达饭店   评分8.9   132932人评价
https://movie.douban.com/subject/25814707/  小森林 冬春篇 评分8.9   134996人评价
https://movie.douban.com/subject/1295865/   燃情岁月    评分8.7   158648人评价
https://movie.douban.com/subject/10777687/  7号房的礼物  评分8.7   199478人评价
https://movie.douban.com/subject/1297574/   英雄本色    评分8.6   190806人评价
https://movie.douban.com/subject/1296909/   虎口脱险    评分8.9   115798人评价
https://movie.douban.com/subject/3011235/   哈利·波特与死亡圣器(下)   评分8.7   302918人评价
https://movie.douban.com/subject/25917973/  心迷宫 评分8.6   202638人评价
https://movie.douban.com/subject/5989818/   萤火之森    评分8.8   178915人评价
https://movie.douban.com/subject/1418200/   傲慢与偏见   评分8.5   334757人评价
https://movie.douban.com/subject/24750126/  荒蛮故事    评分8.8   162160人评价
https://movie.douban.com/subject/25980443/  海边的曼彻斯特 评分8.6   222789人评价
https://movie.douban.com/subject/1309163/   恋恋笔记本   评分8.5   312481人评价
https://movie.douban.com/subject/1300992/   完美的世界   评分9.0   90905人评价
https://movie.douban.com/subject/26799731/  请以你的名字呼唤我   评分8.8   201843人评价
https://movie.douban.com/subject/1294240/   教父3 评分8.8   145433人评价
https://movie.douban.com/subject/1295409/   纵横四海    评分8.7   164863人评价
https://movie.douban.com/subject/1291557/   花样年华    评分8.5   271506人评价
https://movie.douban.com/subject/11026735/  超能陆战队   评分8.6   412804人评价
https://movie.douban.com/subject/1306249/   唐伯虎点秋香  评分8.4   374500人评价
https://movie.douban.com/subject/1858711/   玩具总动员3  评分8.8   209285人评价
https://movie.douban.com/subject/3395373/   蝙蝠侠：黑暗骑士崛起  评分8.6   322721人评价
https://movie.douban.com/subject/10577869/  时空恋旅人   评分8.6   226567人评价
https://movie.douban.com/subject/1293964/   魂断蓝桥    评分8.8   139651人评价
https://movie.douban.com/subject/1292528/   猜火车 评分8.5   266535人评价
https://movie.douban.com/subject/1937946/   穿越时空的少女 评分8.6   201259人评价
https://movie.douban.com/subject/1293460/   雨中曲 评分9.0   100662人评价
https://movie.douban.com/subject/26430107/  二十二 评分8.7   116403人评价
https://movie.douban.com/subject/1793929/   达拉斯买家俱乐部    评分8.7   201756人评价
https://movie.douban.com/subject/1306861/   我是山姆    评分8.8   115537人评价
https://movie.douban.com/subject/1302827/   人工智能    评分8.6   207791人评价
https://movie.douban.com/subject/1291578/   冰川时代    评分8.5   297467人评价
https://movie.douban.com/subject/2297265/   浪潮  评分8.7   144526人评价
https://movie.douban.com/subject/1760622/   香水  评分8.4   299919人评价
https://movie.douban.com/subject/25773932/  爆裂鼓手    评分8.6   261551人评价
https://movie.douban.com/subject/2213597/   朗读者 评分8.5   295867人评价
https://movie.douban.com/subject/1291879/   罗生门 评分8.7   138306人评价
https://movie.douban.com/subject/1395091/   未麻的部屋   评分8.8   110153人评价
https://movie.douban.com/subject/1305690/   阿飞正传    评分8.5   227706人评价
https://movie.douban.com/subject/5964718/   一次别离    评分8.7   143016人评价
https://movie.douban.com/subject/1397546/   追随  评分8.9   88989人评价
https://movie.douban.com/subject/1308857/   可可西里    评分8.7   140360人评价
https://movie.douban.com/subject/26325320/  血战钢锯岭   评分8.6   354115人评价
https://movie.douban.com/subject/6307447/   被解救的姜戈  评分8.6   281503人评价
https://movie.douban.com/subject/3011051/   恐怖游轮    评分8.4   359536人评价
https://movie.douban.com/subject/1388216/   撞车  评分8.6   186430人评价
https://movie.douban.com/subject/1419936/   战争之王    评分8.6   187676人评价
https://movie.douban.com/subject/10533913/  头脑特工队   评分8.7   252966人评价
https://movie.douban.com/subject/2363506/   地球上的星星  评分8.8   93720人评价
https://movie.douban.com/subject/25724855/  房间  评分8.8   174462人评价
https://movie.douban.com/subject/1292270/   梦之安魂曲   评分8.7   120744人评价
https://movie.douban.com/subject/1292329/   牯岭街少年杀人事件   评分8.7   117239人评价
https://movie.douban.com/subject/1307811/   魔女宅急便   评分8.5   213603人评价
https://movie.douban.com/subject/1304102/   谍影重重    评分8.5   207765人评价
https://movie.douban.com/subject/1308767/   谍影重重2   评分8.6   172603人评价
https://movie.douban.com/subject/1959195/   忠犬八公物语  评分9.0   67277人评价
https://movie.douban.com/subject/1292337/   无人知晓    评分9.0   70788人评价
https://movie.douban.com/subject/10463953/  模仿游戏    评分8.6   280018人评价
https://movie.douban.com/subject/1293181/   惊魂记 评分8.9   91856人评价
https://movie.douban.com/subject/26683290/  你的名字。   评分8.4   530423人评价
https://movie.douban.com/subject/6874403/   再次出发之纽约遇见你  评分8.5   188713人评价
https://movie.douban.com/subject/26628357/  一个叫欧维的男人决定去死    评分8.7   136663人评价
https://movie.douban.com/subject/1303394/   青蛇  评分8.4   241703人评价
https://movie.douban.com/subject/1307315/   哪吒闹海    评分8.9   89061人评价
https://movie.douban.com/subject/26614893/  完美陌生人   评分8.6   224563人评价
https://movie.douban.com/subject/1291568/   东京物语    评分9.2   56223人评价
https://movie.douban.com/subject/26393561/  小萝莉的猴神大叔    评分8.5   180575人评价
https://movie.douban.com/subject/1302467/   黑客帝国3：矩阵革命  评分8.5   170301人评价
https://movie.douban.com/subject/3075287/   源代码 评分8.3   438393人评价
https://movie.douban.com/subject/1300960/   碧海蓝天    评分8.7   112488人评价
https://movie.douban.com/subject/1291992/   末路狂花    评分8.7   113829人评价
https://movie.douban.com/subject/1291844/   终结者2：审判日    评分8.6   152461人评价
https://movie.douban.com/subject/2043546/   秒速5厘米   评分8.3   325733人评价
https://movie.douban.com/subject/1292287/   新龙门客栈   评分8.5   201025人评价
https://movie.douban.com/subject/1300374/   绿里奇迹    评分8.7   115336人评价
https://movie.douban.com/subject/1292728/   勇闯夺命岛   评分8.6   151559人评价
https://movie.douban.com/subject/2300586/   这个男人来自地球    评分8.5   197857人评价
https://movie.douban.com/subject/3007773/   海盗电台    评分8.6   173687人评价
https://movie.douban.com/subject/1293908/   城市之光    评分9.2   48800人评价
https://movie.douban.com/subject/1296753/   卡萨布兰卡   评分8.6   133691人评价
https://movie.douban.com/subject/1438652/   无耻混蛋    评分8.4   239666人评价
https://movie.douban.com/subject/1292659/   变脸  评分8.4   228696人评价
https://movie.douban.com/subject/4739952/   初恋这件小事  评分8.3   497810人评价
https://movie.douban.com/subject/1294638/   E.T. 外星人    评分8.5   165870人评价
https://movie.douban.com/subject/10808442/  爱在午夜降临前 评分8.8   127411人评价
https://movie.douban.com/subject/1401118/   黄金三镖客   评分9.1   56024人评价
https://movie.douban.com/subject/1292233/   发条橙 评分8.4   198456人评价
https://movie.douban.com/subject/6534248/   无敌破坏王   评分8.6   200112人评价
https://movie.douban.com/subject/1292062/   美国丽人    评分8.4   198071人评价
https://movie.douban.com/subject/2222996/   步履不停    评分8.8   87931人评价
https://movie.douban.com/subject/1862151/   疯狂的石头   评分8.3   344809人评价
https://movie.douban.com/subject/1905462/   荒野生存    评分8.6   136022人评价
https://movie.douban.com/subject/1292281/   迁徙的鸟    评分9.1   54304人评价
https://movie.douban.com/subject/1291853/   英国病人    评分8.4   183577人评价
https://movie.douban.com/subject/25807345/  彗星来的那一夜 评分8.4   199866人评价
https://movie.douban.com/subject/1292214/   非常嫌疑犯   评分8.6   125020人评价
https://movie.douban.com/subject/25895901/  海街日记    评分8.6   144294人评价
https://movie.douban.com/subject/1307793/   燕尾蝶 评分8.6   112575人评价
https://movie.douban.com/subject/1428175/   血钻  评分8.5   144279人评价
https://movie.douban.com/subject/4023638/   国王的演讲   评分8.3   363826人评价
https://movie.douban.com/subject/3217169/   勇士  评分8.9   92822人评价
https://movie.douban.com/subject/25954475/  聚焦  评分8.8   139008人评价
https://movie.douban.com/subject/4798888/   叫我第一名   评分8.6   115666人评价
https://movie.douban.com/subject/1292217/   穆赫兰道    评分8.3   250528人评价
https://movie.douban.com/subject/1867345/   遗愿清单    评分8.5   141245人评价
https://movie.douban.com/subject/1300741/   枪火  评分8.6   107343人评价
https://movie.douban.com/subject/5908478/   我爱你 评分9.0   63110人评价
https://movie.douban.com/subject/1297478/   上帝也疯狂   评分8.6   101963人评价
https://movie.douban.com/subject/1298653/   荒岛余生    评分8.5   145227人评价
https://movie.douban.com/subject/1291824/   黑鹰坠落    评分8.5   126031人评价
https://movie.douban.com/subject/1305725/   大卫·戈尔的一生    评分8.6   102289人评价
https://movie.douban.com/subject/1300117/   千钧一发    评分8.7   93747人评价
https://movie.douban.com/subject/1308575/   蓝色大门    评分8.3   285275人评价
https://movie.douban.com/subject/1299361/   爱·回家    评分9.0   50658人评价

使用http协议，读取远程服务器资源，再对数据进行过滤。