一百三十、海豚调度器——用DolphinScheduler定时调度HiveSQL任务
一、目标
用海豚调度器对Hive数仓各层数据库的SQL任务进行定时调度。比如，DWD层脱敏清洗表的动态插入数据、DWS层指标表的动态插入数据
二、工具版本
1、海豚调度器：apache-dolphinscheduler-2.0.5-bin.tar.gz
2、Hive：apache-hive-3.1.2-bin.tar.gz
三、实施步骤
（一）在海豚调度器的数据源中心模块创建Hive各数据库的数据源
第一步，点击海豚调度器的数据源中心模块
第二步，点击创建数据源
第三步，编辑数据源，包括数据源类型、数据源名称、IP主机名、端口、用户名、数据库名
第四步，点击测试连接
第五步，连接测试弹出成功提示后，点击编辑
（二）在海豚调度器的项目管理模块创建项目
第一步，点击海豚调度器的项目管理模块
第二步，点击创建项目
第三步，编辑项目名称和所属用户
第四步，项目名称和所属用户编辑好后点击编辑
（三）点击创建好的项目，在工作流定义模块中创建工作流
第一步，点击创建好的项目
第二步，在项目中的工作流定义模块中，点击创建工作流
第三步，在工作流中，拖拽需要的SHELL控件，然后在SHELL节点编辑HiveSQL脚本
1、由于是通过HiveSQL编辑的脚本去定时调度，因此这里选择拖拽SHELL控件
2、在SHELL节点，修改节点名称以及描述
3、最重要的是，在SHELL节点编辑HiveSQL脚本。脚本内容如下：
#! /bin/bash
source /etc/profile
hive -e "
use hurys_dc_dws;
set hive.vectorized.execution.enabled=false;
set hive.auto.convert.join=false;
set mapreduce.map.memory.mb=10150;
set mapreduce.map.java.opts=-Xmx6144m;
set mapreduce.reduce.memory.mb=10150;
set mapreduce.reduce.java.opts=-Xmx8120m;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.dynamic.partition=true;
set hive.exec.parallel=true;
set hive.support.concurrency=false;
set mapreduce.map.memory.mb=4128;
set hive.vectorized.execution.enabled=false;
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=1000;
set hive.exec.max.dynamic.partitions=1500;
insert overwrite table dws_queue_dynamic_statistics_30min partition(day)
select
t1.device_no,
t1.create_time,
case when minute(create_time ) >= 30 then
concat(substr(create_time, 1, 14), '30:00') else
concat(substr(create_time, 1, 14), '00:00')end as start_time,
t1.lane_no,
t2.name,
t3.direction,
t1.queue_count,
t1.queue_len,
t1.day
from hurys_dc_dwd.dwd_queue_dynamic as t1
right join hurys_dc_dws.dws_device_name as t2
on t2.device_no = t1.device_no
right join hurys_dc_dws.dws_device_direction as t3
on t3.device_no = t1.device_no
where t1.create_time is not null
group by t1.device_no, t1.create_time,t1.lane_no, t2.name, t3.direction, t1.queue_count, t1.queue_len, t1.day
"
注意：最后一条SQL不需要加分号；
4、除了节点名称、描述、脚本需要编辑外，其他默认即可。最后点击确认添加
第四步，在SHELL节点确认添加后点击保存、然后设置DAG图名称
1、在SHELL节点编辑完确认添加后点击页面右上方的保存
2、在设置DAG图名称窗口，设置DAG图的名称和描述，选择租户
3、设置名称完后点击添加
（四）工作流创建好后，先上线工作流，再点击运行工作流
（五）工作流运行后，在工作流实例和任务实例可以查看工作流执行结果
（六）工作流运行结束后，在Hive中验证一下数据是否成功动态插入
从新建的空白表到工作流运行后查询表中有数据，说明海豚调度HiveSQL任务成功！！！
（七）如果要设置定时执行的话，就在工作流建好后设置定时
第一步，在工作流设置定时
第二步，设置定时参数，设置好后点击创建
第三步，创建好定时后点击工作流的定时管理
第四步，点击定时管理中的定时上线
第五步，这样定时任务就设置好了，可以看到工作流的定时任务已经上线
到这里，用海豚调度器定时调度HiveSQL脚本任务的演示就结束了！
（八）最后总结一下，有两点需要注意
第一点：海豚对于HiveSQL的SQL调度能力似乎不是特别好，尤其是对一些复杂SQL的调度。因此海豚调度的是HiveSQL的脚本任务，而不是直接调度HiveSQL
第二点：SHELL节点脚本中最后一条SQL不要加分号；
乐于奉献共享，帮助你我他！！！