Hadoop综合大作业

作业来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

本次作业是在期中大作业的基础上利用hadoop和hive技术进行大数据分析

1.将爬虫大作业产生的csv文件上传到HDFS

2.对CSV文件进行预处理生成无标题文本文件

 

 

 

 

预处理：

 使用awk脚本(com_pre_deal.sh)稍作处理，分隔开每一列

 

 

启动hdfs

 

在hdfs上建立/bigdatacase/dataset文件夹

 

把user_comment.txt上传到HDFS中，并查看前5条记录

 

 

3.把hdfs中的文本文件最终导入到数据仓库Hive中

4.在Hive中查看并分析数据

使用netstat -tunlp 查看端口 :3306 LISION确定已经启动了MySql数据库（否则使用$service mysql start启动）

 

启动Hive，并创建一个数据库dblab

创建外部表，把HDFS中的“/bigdatacase/dataset”目录下的数据（注意要删除之前练习时的数据user_table.txt，只剩下目标数据，否则会把数据叠加在一起！）加载到了数据仓库Hive中

在Hive中查看数据

5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和分析结果。（8条以上的查询分析）

①查询统计总数据量

 

评分在超过9的有130部电影，证明高分电影占有比较低