一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据
一、目的
经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
二、数仓实施步骤
（二）步骤二、在Hive的ODS层建外部表加载HDFS中的数据
1、Hive的ODS层建库建表语句
--如果不存在则创建hurys_dc_ods数据库
create database if not exists hurys_dc_ods;
--使用hurys_dc_ods数据库
use hurys_dc_ods;
--1、创建转向比数据外部表 ods_turnratio
create external table if not exists ods_turnratio(
device_no string comment '设备编号（点位）',
cycle float comment '周期',
create_time timestamp comment '创建时间',
volume_sum float comment '指定时间段内通过路口的车辆总数',
speed_avg float comment '指定时间段内通过路口的所有车辆速度的平均值',
volume_left float comment '指定时间段内通过路口的左转车辆总数',
speed_left float comment '指定时间段内通过路口的左转车辆速度的平均值',
volume_straight float comment '指定时间段内通过路口的直行车辆总数',
speed_straight float comment '指定时间段内通过路口的直行车辆速度的平均值',
volume_right float comment '指定时间段内通过路口的右转车辆总数',
speed_right float comment '指定时间段内通过路口的右转车辆速度的平均值'
)
comment '转向比数据表'
row format delimited fields terminated by ','
tblproperties("skip.header.line.count"="1");
注意：由于HDFS每种数据每天写入的是一个文件，所以ODS层表不是分区表，不需要静态分区
2、海豚执行ODS层建表语句工作流
对于刚部署的服务器，由于Hive没有建库建表、而且手动建表效率低，因此通过海豚调度器直接执行建库建表的.sql文件
（1）海豚的资源中心加建库建表的SQL文件
（2）海豚配置ODS层建表语句的工作流（不需要定时，一次就行）
3、海豚配置ODS层表每日加载HDFS数据的工作流
（1）海豚ODS层工作流配置（需要定时，每日一次）
#! /bin/bash
source /etc/profile
rm -rf /home/hdfs_rtp_data/turnratio/turnratio.csv
hdfs dfs -get /rtp/turnratio/turnratio.csv /home/hdfs_rtp_data/turnratio/
hive -e "
use hurys_dc_ods;
set hive.vectorized.execution.enabled=false;
set hive.auto.convert.join=false;
set mapreduce.map.memory.mb=10150;
set mapreduce.map.java.opts=-Xmx6144m;
set mapreduce.reduce.memory.mb=10150;
set mapreduce.reduce.java.opts=-Xmx8120m;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.dynamic.partition=true;
set hive.exec.parallel=true;
set hive.support.concurrency=false;
set mapreduce.map.memory.mb=4128;
set hive.vectorized.execution.enabled=false;
load data local inpath '/home/hdfs_rtp_data/turnratio/turnratio.csv'
overwrite into table ods_turnratio
"
（2）工作流定时任务设置
（3）注意点
3.3.1 由于HDFS每种数据每天写入的是一个文件，而且kettle任务在不停执行、不断写入，因此需要先get到Linux本地，才能得到一个有数据的文件。
hdfs dfs -get /rtp/turnratio/turnratio.csv /home/hdfs_rtp_data/turnratio/
3.3.2 需要先删除Linux本地的数据文件，再从HDFS每日get文件
rm -rf /home/hdfs_rtp_data/turnratio/turnratio.csv
hdfs dfs -get /rtp/turnratio/turnratio.csv /home/hdfs_rtp_data/turnratio/
3.3.3 需要注意服务器各文件夹的磁盘使用情况，把HDFS文件下载到磁盘大的文件夹下
hdfs dfs -get /rtp/turnratio/turnratio.csv /home/hdfs_rtp_data/turnratio/
3.3.4 从Linux本地加载数据到ODS层外部表，由于每次都是全部数据，所以直接overwrite写入
load data local inpath '/home/hdfs_rtp_data/turnratio/turnratio.csv'
overwrite into table ods_turnratio
剩余数仓部分，待续！