搜狗日志查询分析 (MapReduce+Hive+idea综合实验）

前提条件：

安装好hadoop2.7.3（Linux系统下）

安装好MySQL（Windows或Linux系统下）

安装好Hive（Linux系统下）参考：Hive安装配置

题目：

从搜狗实验室下载搜索数据进行分析

下载的数据包含6个字段，数据格式说明如下：

访问时间 用户ID [查询词] 该URL在返回结果中的排名 用户点击的顺序号 用户点击的URL

注意：

1.字段分隔符：字段分隔符是个数不等的空格；

2.字段个数：有些行有6个字段，有些达不到6个字段。

问题：使用MapReduce和Hive查询出搜索结果排名为第2名，点击顺序排在第1的数据？

实验步骤：

思路：用MapReduce做数据清洗，用Hive来分析数据。

1.下载数据源

打开搜狗实验室链接
http://www.sogou.com/labs/resource/q.php

下载精简版(一天数据，63MB) tar.gz格式数据

百度网盘如下：
链接：https://pan.baidu.com/s/1tPFRBUB4vG4GQCpw1qXsEA
提取码：danj
下载后文件如下：

2.上传下载文件至HDFS

2.1将下载的文件通过Xshell工具上传到Linux系统

2.2 解压SogouQ.reduced.tar.gz并上传到HDFS

解压：

 tar -zxvf SogouQ.reduced.tar.gz

可以用tail命令查看解压文件最后3行的数据

tail -3 SogouQ.reduced

查询词为中文，这里编码按UTF-8查出来是乱码，编码时指定为‘GBK’可避免乱码。数据格式如前面的说明:

访问时间 用户ID [查询词] 该URL在返回结果中的排名 用户点击的顺序号 用户点击的URL

上传至HDFS：

hdfs dfs -put SogouQ.reduced /

查看是否上传成功

 hdfs dfs -ls /

3.数据清洗

因为原始数据中有些行的字段数不为6，且原始数据的字段分隔符不是Hive表规定的逗号’,'，所以需要对原始数据进行数据清洗。

通过编写MapReduce程序完成数据清洗：

  a.将不满足6个字段的行删除

  b.将字段分隔符由不等的空格变为逗号‘,’分隔符

3.1 idea新建Maven工程：Zongheshiyan

Group Id填写com， Artifact Id填写Zongheshiyan


新建工程目录结构如下：

3.2 新建两个类
App和SogouMapper

3.3 修改pom.xml文件

设置主类：在一行之前添加如下语句

<build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>3.1.0</version>
        <executions>
          <execution>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
            <configuration>
              <transformers>
                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                <!-- main()所在的类，注意修改为包名+主类名 -->
                  <mainClass>com.Zongheshiyan.App<