hadoop综合大作业

作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

 

1、把python爬取的数据传到linux

 

 

2、去除数据的标题

 

3、把数据的逗号代替为 \t转义字符

 

4、启动hadoop集群

 

 

 

5、把数据文件上传到hdfs

 

6、启动hive

 

 

7、创建数据库

 

 

8、创建表并把hdfs的数据导入表中

 

 9、统计数据一共有1011条

 

 10、统计出不是同一用户评论的条数

 

 

11、列出前10名观众分数和时间

 

12、列出前10名观众的评论

 

13、统计评论分数大于4分（总5分）的评论条数，大部分是大于4分，说明

《何以为家》的好评率很高。

 

14、统计出男女人数（1男 2女 3未知）

 

15、列出各城市的评论数

 

 16、统计北京的评论数

 

17、统计上海的评论数 

 

18、统计广州的评论数

 

19、统计深圳的评论数