在hive中分析数据然后将数据导出到mysql中练习
模块需求一：
hourly分析：统计一天24个小时中，每个小时内的活跃用户数、会话个数、会话长度
针对模块需求一，在mysql中创建对应结果表，使用sqoop将结果导出到mysql结果表中。--sqoop语句及mysql的结果表截图！！
----- 先创建外部映射hbase表中相关的列：
在hive中：
CREATE EXTERNAL TABLE event_logs(
rowkey string,
pl string,
en string,
u_ud string,
u_sd string,
s_time string
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:pl,info:en,info:u_ud,info:u_sd,info:s_time")
TBLPROPERTIES ("hbase.table.name" = "event_logs");
下面：新建hdfs上的目录，然后etl操作，清洗数据后到hbase中。
然后在hive中查询：
可以看到u_ud 和u_sd显示有具体的值。
--创建临时表：
create table stats_hourly_tmp1(
pl string,
en string,
u_ud string,
u_sd string,
s_time bigint,
hour int,
date string
) ;
对每条日志增加小时和日期字段
显示运行成功：
查看有数据。
--下面创建统计active users的结果表
然后添加数据：
然后查看数据：
-----然后统计sessions的结果表;
然后添加数据：
然后查看数据：
---下面就是统计会话长度的结果表
然后添加入数据；
查看结果：
-------然后下面就是将统计出的结果，使用sqoop导入到mysql中：
create table stats_hourly_active(
pl varchar(20),
times varchar(20),
hours int(10),
user_num int(10)
);
create table stats_hourly_session(
pl varchar(20),
times varchar(20),
hours int(10),
sess_num int(10)
);
create table stats_hourly_session_length(
pl varchar(20),
times varchar(20),
hours int(10),
sess_len int(10)
);
下面就是在sqoop下面进行执行从hdfs导出到mysql中；
------------------------------
bin/sqoop export \
--connect jdbc:mysql://com.hadoop:3306/mydb \
--username root \
--password 000 \
--table stats_hourly_active \
--fields-terminated-by "\001" \
--export-dir '/user/hive/warehouse/stats_hourly_active'
bin/sqoop export \
--connect jdbc:mysql://com.hadoop:3306/mydb \
--username root \
--password 000 \
--table stats_hourly_session \
--fields-terminated-by "\001" \
--export-dir '/user/hive/warehouse/stats_hourly_session'
bin/sqoop export \
--connect jdbc:mysql://com.hadoop:3306/mydb \
--username root \
--password 000 \
--table stats_hourly_session_length \
--fields-terminated-by "\001" \
--export-dir '/user/hive/warehouse/stats_hourly_session_length'
下面在mysql中查看：
select * from stats_hourly_active;
select * from stats_hourly_session;
select * from stats_hourly_session_length;
