大三课堂测试总结20191113

测试题目：

　　1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。

　　2、数据处理：

·统计最受欢迎的视频/文章的Top10访问次数 （video/article）

·按照地市统计最受欢迎的Top10课程 （ip）

·按照流量统计最受欢迎的Top10课程 （traffic）

　　3、数据可视化：将统计结果倒入MySql数据库中，通过图形化展示的方式展现出来。

　　本次测试的结果并不是很理想，hive装的匆忙，导致在测试的时候启动总是有问题，耽搁了很长的时间。

解答过程：

　　1.首先是对老师提供的数据进行清洗，通过图片我们可以看出

　　在图片中已经标出提取数据需要注意点：1.获取的时候以逗号作为分割符号，2.时间的格式需要进行修改，3.在课程编号后面有空格需要删除

　　所以决定在map的过程中解决这三个事情，完成提取。

public class Map extends Mapper