爬取电影评论

需求：采集热门电影网站(http://www.datawh.cn)某影片的电影评论

开发工具：Eclipse( Version: Oxygen)

网页结构分析 

打开热门电影网站网页http://www.datawh.cn，本文以“战狼2”为例进行剖析（其他影片结构相同，切换url即可），如下图：

 使用Jsoup获取影评信息

 Jsoup 是 一款 Java的html解析器 , 可以直接解析某个URL地址 , html文本内容 , 可通过类似JS的操作方式来去取出和操作数据.

官网地址：https://jsoup.org/

// 根据url获取和解析HTML页面
Document document = Jsoup.connect("http://www.datawh.cn/zhanlang2.html").get();
// 获取电影名称
String movieTitle = document.getElementById("movieTitle").text();
// 获取电影评分
String rating_num = document.getElementById("rating_num").text();
System.out.println("movieTitle:" + movieTitle);
System.out.println("rating_num:" + rating_num);
// 获取电影评价
Elements container = document.getElementsByClass("article");
//parse(String html)HTML解析为文档
Document containerDoo = Jsoup.parse(container.toString());
Element comments = containerDoo.getElementById("comments-section");
Document commentsDoo = Jsoup.parse(comments.toString());
Elements itemList = commentsDoo.getElementsByClass("comment-item");

for (Element item : itemList) {
	Document itemDoo = Jsoup.parse(item.toString());
	// 评论员
	String discussant = itemDoo.getElementsByClass("comment-info").text();
	// 评论时间
	String comment_time = itemDoo.getElementsByClass("comment-time").text();
	// 评论信息
	String comment_content = itemDoo.getElementsByTag("p").html();
	System.out.println("===========================================");
	System.out.println("discussant:" + discussant);
	System.out.println("comment-time:" + comment_time);
	System.out.println("comment-content:" + comment_content);
	System.out.println("===========================================");
	System.out.println();
}

 效果图

movieTitle:战狼2
rating_num:7.4
============================================================
discussant:谢谢你们的鱼
comment-time:2017-07-23
comment-content:凭良心说，好看到不像《战狼1》的续集，完虐《湄公河行动》。PS：我也是醉了，那些说吴京角色打不死的，我想问你们哪部商业动作片没有个人英雄主义的，真为你们感到丢人。
============================================================

============================================================
discussant:法兰西胶片
comment-time:2017-07-22
comment-content:三星半，实打实的7分。第一集在爱国主旋律内部做着各种置换与较劲，但第二集才真正显露吴京的野心，他终于抛弃李忠志了，新增外来班底让硬件实力有机会和国际接轨，开篇水下长镜头和诸如铁丝网拦截RPG弹头的细节设计都让国产动作片重新封顶，在理念上，它甚至做到《绣春刀2》最想做到的那部分。
============================================================

============================================================
discussant:格拉比
comment-time:2017-07-28
comment-content:片头海里那场动作戏看完就呆不下去了，太假太做作，提前离场。
============================================================

============================================================
discussant:张佳玮
comment-time:2017-07-31
comment-content:开头的水下长对决戏可算华语电影的顶尖存在；驱逐舰、导弹和坦克在商业片里这么狂用也是了得；镜头运用和笑点插入都很好莱坞爆米花，不功不过；从头打到尾是真拼，虽然镜头也有略乱时；因为没啥期望值，所以被吴京的野心吓了一跳；吴刚、于谦和丁海峰老三位像炖烂熟的牛筋，嚼着就舒服。
============================================================

============================================================
discussant:九幽第一少
comment-time:2017-07-27
comment-content:这部戏让人看的热血沸腾，对吴京路转粉，最后的彩蛋，让我们没有理由不期待下一部。
============================================================

============================================================
discussant:俏皮面
comment-time:2017-07-23
comment-content:首映礼看的。太恐怖了这个电影，不讲道理的，完全就是吴京在实现他这个小粉红的英雄梦。各种装备轮番上场，视物理逻辑于不顾，不得不说有钱真好，随意胡闹
============================================================

============================================================
discussant:Criminal001
comment-time:2017-07-27
comment-content:吴京的炒作水平不输冯小刚，但小刚至少不会用主旋律来炒作…吴京让人看了不舒服，为了主旋律而主旋律，为了煽情而煽情，让人觉得他是个大做作、大谎言家。（7.29更新）片子整体不如湄公河行动，1.整体不够流畅，编剧有毒，台词尴尬；2.刻意做作的主旋律煽情显得如此不合时宜而又多余。
============================================================

============================================================
discussant:SELVEN
comment-time:2017-07-27
comment-content:吴京的冷峰在这部里即像成龙，又像杰森斯坦森，但体制外的同类型电影，主角总是代表个人，无能的政府需要求助于这些英雄才能解决难题，体现的是个人的价值，所以主旋律照抄这种模式实际上是有问题的。我们以前嘲笑个人英雄主义，却没想到捆绑爱国主义的全能战士更加难以下咽。
============================================================

============================================================
discussant:武侠小王子
comment-time:2017-07-28
comment-content:犯我中华者，一定要诛吗？
============================================================

============================================================
discussant:盲匪
comment-time:2017-07-28
comment-content:赵东来：达康书记，我们接到在非洲卧底的冷锋报告，丁义珍现在非洲，我们请求抓捕。李达康：东来，这件事先不要声张，特别是别让省厅知道，就你和我一起去非洲，加上冷锋同志，三人逮捕丁义珍。这次行就叫战狼2吧
============================================================

============================================================
discussant:喜悦姑娘的猫儿
comment-time:2017-07-27
comment-content:开篇长镜头惊险大气引人入胜 结合了水平不俗的快剪下实打实的真刀真枪 让人不禁热血沸腾 特别弹簧床架挡炸弹 空手接碎玻璃 弹匣割喉等帅得飞起！就算前半段铺垫节奏散漫主角光环开太大等也不怕 作为一个中国人 两个小时弥漫着中国强大得不可侵犯的氛围 还是让那颗民族自豪心砰砰砰跳个不停。
============================================================

============================================================
discussant:二师兄
comment-time:2017-07-26
comment-content:下一部拍喜剧吧，整个片子真感觉挺搞笑的
============================================================

============================================================
discussant:法兰西胶片
comment-time:2017-07-22
comment-content:三星半，实打实的7分。第一集在爱国主旋律内部做着各种置换与较劲，但第二集才真正显露吴京的野心，他终于抛弃李忠志了，新增外来班底让硬件实力有机会和国际接轨，开篇水下长镜头和诸如铁丝网拦截RPG弹头的细节设计都让国产动作片重新封顶，在理念上，它甚至做到《绣春刀2》最想做到的那部分。
============================================================

============================================================
discussant:比河更长更舒缓
comment-time:2017-07-28
comment-content:爱国没问题，问题是人们在一部虚构的电影里感叹：祖国真的强大了！——这不是意淫是什么？
============================================================

============================================================
discussant:丝米
comment-time:2017-07-27
comment-content:就是一部爽片，打戏挺燃，但是故事一般。达康书记不合适这个角色，赵东来倒是很合适。张瀚太太太违和了，分分钟穿越回偶像剧。
============================================================

============================================================
discussant:虎哥
comment-time:2017-07-23
comment-content:目瞪狗呆！太瘠薄好看了！中国人牛b就是硬道理！（别再用标记日期骂我了朋友们 北京时间23号晚上首映礼看的我谢谢你们 啊哈哈哈哈哈
============================================================

============================================================
discussant:搬砖侠
comment-time:2017-07-27
comment-content:扪心自问这种电影真没法评价，全片靠动作戏撑完，文戏都是扯淡，女主角毫无存在的必要，故事不需要逻辑只要主角开挂，但牛逼之处在于全片都透露着极强烈的爱国主义光环和意识形态枷锁，在祖国面前，一切反动派都是纸老虎，所以战狼一个人开挂团灭一个连都是合情合理的，动作戏还不错，挺用心，两星鼓励
============================================================

============================================================
discussant:杨清宇
comment-time:2017-07-29
comment-content:吴迪塞尔如入无人之境，7亿大陆直男在这一刻集体勃起。心往一处想，劲往一处使，你就能离开影厅不是个屌丝了？
============================================================

============================================================
discussant:秦汧
comment-time:2017-07-28
comment-content:典型美国大片的方式，每次都能猜对剧情，没劲诶~我就想问，王牌特工就那么点杀人的镜头，还经过艺术处理，都直接删了，战狼2这种血腥屠杀的镜头，赤裸裸的，大段大段的，是怎么过的？政治正确就有庇衣了？（水军他垃圾，动不动豆油过来骂傻逼，就冲这个给一星，不服来战）
============================================================

============================================================
discussant:似是而非
comment-time:2017-09-14
comment-content:只是一部电影，却能暴露太多人的心态不正，太多习惯被西方发达国家洗脑的人就受不了被自己人“洗脑”了，会不会太自卑了点
============================================================

源码地址（含URL、HttpClient方式采集网页信息）：https://github.com/freeflyerTang/datacollection.git