[大数据]使用hive做数据分析

前面使用flume把第一手的日志上传到了hadoop

接下来就是要对数据进行分析了，

这里可以使用hadoop的mapreduce，但是缺点是开发过程比较慢

很多人都习惯使用sql来进行查询，hive很好的满足了这个要求

而且根据大公司的精力，之前大家都是使用自己封装的mapreduce库

后来都转成hive了

把hadoop的日志转成hive表就是第一步了

这里我尝试的方案是

外表+json的方式

!---

hive的json处理需要引入第三方serde

http://congiu.net/hive-json-serde/1.3.7/cdh5/ 这里可以直接下载，省去github自己打包的麻烦

下载下来的jar包直接丢到hive的lib文件夹下

(这里还是需要下源码重新打包下，把hive和hadoop的版本做个配置支持，

网站上面只有cdh4，chd5等1,2个版本的支持，版本对不上容易出现莫名其妙的错误

)

上面这个serde稳定性不行，解析经常容易失败，最后换了

https://github.com/cloudera/cdh-twitter-example 这个开源的

'com.cloudera.hive.serde.JSONSerDe'

下载代码后把hive和hadoop的版本做修改再编译

然后就是建立外表的过程

项目的日志格式是/flume/yyyy-mm-dd/h/files

这里使用了日期和时间2个分区参数

建表的语句如下：

建表语句
CREATE EXTERNAL TABLE gatetest(
url string,
ip string,
param struct >,
 agent string,
 logtime string,
 time string,
 type string
) 
PARTITIONED BY (mydate string, myhour string) 
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION '/flume';


增加分区
alter table gatetest add partition (date='20160427', hour='0') location '/flume/20160427/0';


查看分区数：
show partitions gateLog;


基于分区查询：
select count(*) from gateLog where date='20160427';

这里有个问题是无法直接使用分区参数和数据值一起做为查询条件

这个问题自己还要尝试解决

{解决：

JsonSerDe里面有个配置选项跳过哪些无法解析的json串，测试了一下java的解析跟python解析还有有些不全

我用python导出的3w条记录有几百条无法用这个SerDe解析出来。

ALTER TABLE gatetest SET SERDEPROPERTIES ("ignore.malformed.json"="true");

增加这句，这个是在代码库里面的说明找的。

}