Ambari2.7+HDP3.X集成Dolphinscheduler1.3

一、安装准备

• Dolphinscheduler1.3安装包，详情可参考 dolphinscheduler在window环境下单机编译+部署 中生成的的tar包，由于官网未正式release，为大家方便，这里提供已编译好的tar包，链接：https://pan.baidu.com/s/18ILymCAnYnhcIpgbGUAENQ 提取码：vvtw
• mysql jdbc驱动包：mysql-connector-java-5.1.47.jar
• ambari插件包地址，已兼容开发好，还未合入官方代码库：HDP3.X+DS1.3.0

二、环境准备

1.新建数据库

CREATE DATABASE dolphinscheduler;
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
FLUSH PRIVILEGES;

2.java环境准备

虽然配了java home，但是后面安装完成Dolphinscheduler启动各个server的时候会报java command not found，注意！java执行入口一定要软链到/usr/bin/java，先检查是否存在:

whereis java

如果不存在/usr/bin/java,则需要所有节点执行：

alternatives --install /usr/bin/java java /opt/app/jdk1.8.0/bin/java 1

/opt/app/jdk1.8.0/bin/java 这里是我的路径，要改成你的，如图表示成功

三、ambari集成

1.软件包准备

• 把Dolphinscheduler1.3的安装包、 jdbc驱动包放在你的Apache或Nginx服务器上

  

• 在Ambari Server节点上新建DOLPHIN目录，把插件包放在路径下

  hdp3.0:对应：/var/lib/ambari-server/resources/stacks/HDP/3.0/services/DOLPHIN

  hdp3.1:对应：/var/lib/ambari-server/resources/stacks/HDP/3.1/services/DOLPHIN

  

2.修改文件

如果是HDP3.1的用户，略过下面的修改，此修改只针对HDP3.0的用户。

编辑alerts.json文件，分别第68行、100行、133行修改path对应的值为HDP/3.0/services/DOLPHIN/package/alerts/alert_dolphin_scheduler_status.py

3.正式安装

1. 重启Ambari Server,执行：ambari-server restart

2. 进入ambari界面，界面左侧 >> services >> Add service >> Dolphin Scheduler >> NEXT >>

   选择DS Master

   

配置部署的用户，数据库host用户名密码，hdfs地址

再进入ADVANCED配置界面，配置Advanced dolphin-logback项，由于logback配置是xml格式，ambari这方面value值是xml格式的配置不能解析，目前还没有一个很好的办法，这里手动配置各个server的logback，也可以根据自己的需要修改模板，把下列文件内容拷贝到对应的配置项即可：

alert_logback.xml：alert_logback.xml

apiserver_logback.xml：apiserver_logback.xml

master_logback.xml：master_logback.xml

worker_logback.xml：worker_logback.xml

配置Advanced dolphin-ambari-config，填入上面上传到本地服务器的Dolphinscheduler1.3安装包地址和jdbc驱动地址

一路next

在任意一个节点上执行数据库初始化脚本：

chmod 755 -R /usr/hdp/3.1.4.0-315/dolphinscheduler/script/
/usr/hdp/3.1.4.0-315/dolphinscheduler/script/create-dolphinscheduler.sh
/usr/hdp/3.1.4.0-315/dolphinscheduler/script/upgrade-dolphinscheduler.sh

数据库初始化成功后，进入ambari，启动所有服务

点击右边的Quick Links，进入ui界面，用户名密码：admin / dolphinscheduler123

安装成功！！