1.下载lzo源码包，然后进行编译，下载lzo的源码包地址
https://github.com/twitter/hadoop-lzo/tree/release-0.4.20
打包编译
mvn clean package
获取编译之后的jar包
1.将jar 包上传到/share/hadoop/common
scp hadoop-lzo-0.4.20.jar node02:PWD
2.修改core-site.xml 配置文件压缩方式
io.compression.codecs
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
io.compression.codec.lzo.class
com.hadoop.compression.lzo.LzoCodec
scp core-site.xml node02:PWD
重启hadoop集群
配置hive 支持lzo压缩
将支持hadoop-lzo-0.4.20.jar这个jar包拷贝到hive的/lib包下面即可。
使用lzo压缩方式支持数据txt文本文件数据进行压缩，节约磁盘空间。
#创建分区表并显示支持压缩格式
CREATE TABLE ods_user_login(
plat_id string comment '平台id',
server_id int comment '区服id',
channel_id string comment '渠道',
user_id string comment '用户ID',
role_id string comment '角色ID',
role_name string comment '角色名称',
client_ip string comment '客户端IP',
event_time int comment '事件时间',
op_type string comment '操作类型(1:登录,-1登出)',
online_time int comment '在线时长(s)',
operating_system string comment '操作系统名称',
operating_version string comment '操作系统版本',
device_brand string comment '设备型号',
device_type string comment '设备品牌'
)
comment '游戏登录登出'
PARTITIONED BY(part_date date)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS INPUTFORMAT
'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';
创建临时表，用于load data local inpath 临时表中
CREATE TABLE tmp_ods_user_login(
plat_id string comment '平台id',
server_id int comment '区服id',
channel_id string comment '渠道',
user_id string comment '用户ID',
role_id string comment '角色ID',
role_name string comment '角色名称',
client_ip string comment '客户端IP',
event_time int comment '事件时间',
op_type string comment '操作类型(1:登录,-1登出)',
online_time int comment '在线时长(s)',
operating_system string comment '操作系统名称',
operating_version string comment '操作系统版本',
device_brand string comment '设备型号',
device_type string comment '设备品牌'
)
comment '游戏登录登出-临时表，用于将数据通过动态分区载入ods_user_login中'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
3.将temp临时表数据insert into 正式表中，之前set 属性让支持数据压缩。
将数据通过动态分区载入ods_user_login中
set hive.exec.dynamic.partition=true; 【开启动态分区】
set hive.exec.dynamic.partition.mode=nostrict; 【动态分区模式为非严格模式】
set hive.exec.max.dynamic.partitions.pernode=1000; 【最大动态分区数量设置为1000】
# 设置输出数据格式压缩成为LZO
set hive.exec.compress.output=true;
set mapreduce.output.fileoutputformat.compress=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;
#插入数据到目标表里面去
insert overwrite table ods_user_login partition(part_date)
select plat_id,server_id,channel_id,user_id,role_id,role_name,client_ip,event_time,op_type,online_time,operating_system,operating_version,device_brand,device_type,from_unixtime(event_time,'yyyy-MM-dd') as part_date from tmp_ods_user_login;
#给lzo文件建立索引：便于以后多个mapTask来对文件进行处理
hadoop jar /kkb/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /user/hive/warehouse/game_center.db/ods_user_login/
4.问题：注意，给lzo的文件建立了index索引之后，查询tmp_ods_user_login与ods_user_login表会发现，这两个表当中的数据总量count(1)不一样，因为将index索引文件也计算到总文件数当中去了，解决方法
1:删除index文件即可
2：设置属性
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
select count(1) from ods_user_login 表中只计算了没有lzo索引的数据，只包含真实数据记录数