一百二十七、海豚调度——dolphinscheduler205单机版安装

一、前提准备

1.JDK1.8

2.MySQL（5.7+）

3.ZooKeeper（3.4.6+）

4.需安装进程树分析工具 psmisc               

[root@linux128 ~]# sudo yum install -y psmisc

5.海豚调度安装包和MySQL驱动包

apache-dolphinscheduler-2.0.5-bin.tar.gz

mysql-connector-java-8.0.30.jar

二、安装步骤

（一）打开安装包所在地
[root@linux128 ~]# cd /usr/local/hurys/dc_env/dolphinscheduler/tar/
[root@linux128 tar]# ls
apache-dolphinscheduler-2.0.5-bin.tar.gz

（二）解压安装包
[root@linux128 tar]# tar  -zxvf  apache-dolphinscheduler-2.0.5-bin.tar.gz  -C  /usr/local/hurys/dc_env/dolphinscheduler/

（三）重命名
[root@linux128 tar]# cd /usr/local/hurys/dc_env/dolphinscheduler/
[root@linux128 dolphinscheduler]# ls
apache-dolphinscheduler-2.0.5-bin  tar
[root@linux128 dolphinscheduler]# mv apache-dolphinscheduler-2.0.5-bin/  dolphinscheduler205
[root@linux128 dolphinscheduler]# ls
dolphinscheduler205  tar

(四）在MySQL中创建元数据库及用户
（1）创建数据库
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
（2）创建用户
mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
注：
若出现以下错误信息，表明新建用户的密码过于简单。
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
可提高密码复杂度或者执行以下命令降低 MySQL 密码强度级别。
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;
（3）赋予用户相应权限
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
mysql> flush privileges;
（4）查看用户权限 数据库MySQL的表user
mysql> select host, user, authentication_string, plugin from user;
+-----------+------------------+------------------------------------------------------------------------+-----------------------+
| host      | user             | authentication_string                                                  | plugin                |
+-----------+------------------+------------------------------------------------------------------------+-----------------------+
| %         | dolphinscheduler | $A$005$@?;{l/@9BUv9nOlxpB5rY7amwIbGUBSSN.5Y2tcU43NdraIpiTSvYtRTHX1 | caching_sha2_password |

(五)修改配置文件install_config.conf
[root@linux128 dolphinscheduler205]# cd ./conf/config/
[root@linux128 config]# ls
install_config.conf
[root@linux128 config]# vi install_config.conf
# 将要部署任一 DolphinScheduler 服务的服务器主机名或 ip 列表
25 ips="192.168.204.128"

# master 所在主机名列表，必须是 ips 的子集
34 masters="192.168.204.128"

# worker 主机名及队列，此处的 ip 必须在 ips 列表中
39 workers="192.168.204.128:default"

# 告警服务所在服务器主机名
44 alertServer="192.168.204.128"

# api 服务所在服务器主机名
49 apiServers="192.168.204.128"

# 不需要的配置项，可以保留默认值，也可以用 # 注释
54 #pythonGatewayServers="ds1"

# DS 安装路径，如果不存在会创建
58 installPath="/usr/local/hurys/dc_env/dolphinscheduler"

# 部署用户，任务执行服务是以 sudo -u {linux-user} 切换不同 Linux 用户的方式来
实现多租户运行作业，因此该用户必须有免密的 sudo 权限。
63 deployUser="root"

66 dataBasedirPath="/tmp/dolphinscheduler"
# 前文配置的所有节点的本地数据存储路径，需要确保部署用户拥有该目录的读写权限

# JAVA_HOME 路径
73 javaHome="/usr/local/java"

83 # Supported values: ``postgresql``, ``mysql`, `h2``.
# 注意：数据库相关配置的 value 必须加引号，否则配置无法生效
# 数据库类型
84 DATABASE_TYPE="mysql"

# 数据库 URL
90 SPRING_DATASOURCE_URL="jdbc:mysql://192.168.204.128:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8"

# 数据库用户名
93 SPRING_DATASOURCE_USERNAME="dolphinscheduler"

# 数据库密码
96 SPRING_DATASOURCE_PASSWORD="dolphinscheduler"

102 registryPluginName="zookeeper"
# 注册中心插件名称，DS 通过注册中心来确保集群配置的一致性

# 注册中心地址，即 Zookeeper 集群的地址
105 registryServers="192.168.204.128:2181"

108 registryNamespace="dolphinscheduler"
# DS 在 Zookeeper 的结点名称

# 资源存储类型
117 resourceStorageType="HDFS"

120 resourceUploadPath="/dolphinscheduler"
# 资源上传路径

# 默认文件系统
125 defaultFS="hdfs://192.168.204.128:8020"

133 resourceManagerHttpAddressPort="8088"
# yarn RM http 访问端口

136 yarnHaIps=
# Yarn RM 高可用 ip，若未启用 RM 高可用，则将该值置空

139 singleYarnIp="linux128"
# Yarn RM 主机名，若启用了 HA 或未启用 RM，保留默认值

143 hdfsRootUser="root"
# 拥有 HDFS 根目录操作权限的用户

(六)初始化数据库
第一步，拷贝MySQL驱动包 注意驱动包是8.X的版本
[root@linux128 dolphinscheduler205]# cp /usr/local/hurys/dc_env/hive/jar/mysql-connector-java-8.0.30.jar  ./lib/
第二步，执行数据库初始化脚本
[root@linux128 dolphinscheduler205]# script/create-dolphinscheduler.sh
  .   ____          _            __ _ _
 /\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
 \\/  ___)| |_)| | | | | || (_| |  ) ) ) )
  '  |____| .__|_| |_|_| |_\__, | / / / /
 =========|_|==============|___/=/_/_/_/
 :: Spring Boot ::                (v2.5.6)

（七）一键部署 DolphinScheduler

（1）首先启动 Zookeeper 
[root@hurys22 ~]# cd /rtp_system_pakage/env/kafka/kafka213/
[root@hurys22 kafka213]# bin/zookeeper-server-start.sh config/zookeeper.properties

（2）然后一键部署并启动 DolphinScheduler
[root@linux128 dolphinscheduler205]# ./install.sh

192.168.204.128  Begin status master-server......
master-server  [  RUNNING  ]
End status master-server.
192.168.204.128  Begin status worker-server......
worker-server  [  RUNNING  ]
End status worker-server.
192.168.204.128  Begin status logger-server......
logger-server  [  RUNNING  ]
End status logger-server.
192.168.204.128  Begin status alert-server......
alert-server  [  RUNNING  ]
End status alert-server.
192.168.204.128  Begin status api-server......
api-server  [  RUNNING  ]
End status api-server.

（3）接着，查看 DolphinScheduler 进程  5个进程：ApiApplicationServe、MasterServer、WorkerServer、LoggerServer、AlertServer
[root@linux128 dolphinscheduler205]# jps
25345 ApiApplicationServer
25202 MasterServer
25506 Jps
25237 WorkerServer
25272 LoggerServer
21805 QuorumPeerMain
25309 AlertServer

（4）最后，访问 DolphinScheduler UI
DolphinScheduler UI 地址为    http://192.168.204.128:12345/dolphinscheduler
初始用户的用户名为：admin，密码为 dolphinscheduler123

（八） DolphinScheduler 启停命令
DolphinScheduler 的启停脚本均位于其安装目录的 bin 目录下。
1）一键启停所有服务
./bin/start-all.sh
./bin/stop-all.sh
注意同 Hadoop 的启停脚本进行区分。
2）启停 Master
./bin/dolphinscheduler-daemon.sh start master-server
./bin/dolphinscheduler-daemon.sh stop master-server
3）启停 Worker
./bin/dolphinscheduler-daemon.sh start worker-server
./bin/dolphinscheduler-daemon.sh stop worker-server
4）启停 Api
./bin/dolphinscheduler-daemon.sh start api-server
./bin/dolphinscheduler-daemon.sh stop api-server
5）启停 Logger
./bin/dolphinscheduler-daemon.sh start logger-server
./bin/dolphinscheduler-daemon.sh stop logger-server
6）启停 Alert
./bin/dolphinscheduler-daemon.sh start alert-server
./bin/dolphinscheduler-daemon.sh stop alert-server
 

海豚调度器安装成功，具体操作待续

乐于奉献共享，帮助你我他！！！