一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据

一、目的

经过6个月的奋斗,项目的离线数仓部分终于可以上线了,因此整理一下离线数仓的整个流程,既是大家提供一个案例经验,也是对自己近半年的工作进行一个总结。

二、数仓实施步骤

(二)步骤二、在Hive的ODS层建外部表加载HDFS中的数据

1、Hive的ODS层建库建表语句

--如果不存在则创建hurys_dc_ods数据库
create database if not exists hurys_dc_ods;
--使用hurys_dc_ods数据库
use hurys_dc_ods;

--1、创建转向比数据外部表  ods_turnratio
create external table  if not exists  ods_turnratio(
device_no       string    comment '设备编号(点位)',
cycle           float     comment '周期',
create_time     timestamp comment '创建时间',
volume_sum      float     comment '指定时间段内通过路口的车辆总数',
speed_avg       float     comment '指定时间段内通过路口的所有车辆速度的平均值',
volume_left     float     comment '指定时间段内通过路口的左转车辆总数',
speed_left      float     comment '指定时间段内通过路口的左转车辆速度的平均值',
volume_straight float     comment '指定时间段内通过路口的直行车辆总数',
speed_straight  float     comment '指定时间段内通过路口的直行车辆速度的平均值',
volume_right    float     comment '指定时间段内通过路口的右转车辆总数',
speed_right     float     comment '指定时间段内通过路口的右转车辆速度的平均值'
)
comment '转向比数据表'
row format delimited fields terminated by ','
tblproperties("skip.header.line.count"="1");

注意:由于HDFS每种数据每天写入的是一个文件,所以ODS层表不是分区表,不需要静态分区

一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据_第1张图片

一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据_第2张图片

2、海豚执行ODS层建表语句工作流

对于刚部署的服务器,由于Hive没有建库建表、而且手动建表效率低,因此通过海豚调度器直接执行建库建表的.sql文件

(1)海豚的资源中心加建库建表的SQL文件

一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据_第3张图片

一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据_第4张图片

(2)海豚配置ODS层建表语句的工作流(不需要定时,一次就行

一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据_第5张图片

一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据_第6张图片

3、海豚配置ODS层表每日加载HDFS数据的工作流

(1)海豚ODS层工作流配置(需要定时,每日一次

一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据_第7张图片

一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据_第8张图片

#! /bin/bash
source /etc/profile

rm -rf /home/hdfs_rtp_data/turnratio/turnratio.csv
hdfs dfs -get  /rtp/turnratio/turnratio.csv  /home/hdfs_rtp_data/turnratio/

hive -e "
use hurys_dc_ods;

set hive.vectorized.execution.enabled=false;
set hive.auto.convert.join=false;
set mapreduce.map.memory.mb=10150;
set mapreduce.map.java.opts=-Xmx6144m;
set mapreduce.reduce.memory.mb=10150;
set mapreduce.reduce.java.opts=-Xmx8120m;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.dynamic.partition=true;
set hive.exec.parallel=true;
set hive.support.concurrency=false;
set mapreduce.map.memory.mb=4128;
set hive.vectorized.execution.enabled=false;

load data local inpath '/home/hdfs_rtp_data/turnratio/turnratio.csv'
overwrite into  table  ods_turnratio

"

(2)工作流定时任务设置

一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据_第9张图片

(3)注意点
3.3.1 由于HDFS每种数据每天写入的是一个文件,而且kettle任务在不停执行、不断写入,因此需要先get到Linux本地,才能得到一个有数据的文件。

hdfs dfs -get  /rtp/turnratio/turnratio.csv  /home/hdfs_rtp_data/turnratio/

3.3.2 需要先删除Linux本地的数据文件,再从HDFS每日get文件

rm -rf /home/hdfs_rtp_data/turnratio/turnratio.csv
hdfs dfs -get  /rtp/turnratio/turnratio.csv  /home/hdfs_rtp_data/turnratio/

3.3.3 需要注意服务器各文件夹的磁盘使用情况,把HDFS文件下载到磁盘大的文件夹下

一百八十三、大数据离线数仓完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据_第10张图片

hdfs dfs -get  /rtp/turnratio/turnratio.csv  /home/hdfs_rtp_data/turnratio/

3.3.4 从Linux本地加载数据到ODS层外部表,由于每次都是全部数据,所以直接overwrite写入

load data local inpath '/home/hdfs_rtp_data/turnratio/turnratio.csv'
overwrite into  table  ods_turnratio

剩余数仓部分,待续!

你可能感兴趣的:(Hadoop,大数据,hive,hdfs)