DolphinScheduler集群安装部署

本次安装的是1.3.5版本，为生产环境三节点集群，具体可参考官方网站手册

quick-start (apache.org)

一、前置要求

1. MySQL 5.7 : MySQL则需要JDBC Driver 5.1.47+
2. JDK1.8以上，配置好环境变量
3. Zookeeper（3.4.6+）
4. Hadoop(2.6+)：选装，如果不用Hadoop可不安装

如上要求是根据官网配置要求，且我自己选用组件

二、下载并解压安装包

1、地址：

Apache Download Mirrors

下载完，上传到服务器上

2、解压：

我的安装目录：/home/module，各位依具体情况修改

注意：官网上要求部署目录不要创建在/root、/home等高权限目录

tar -zxvf apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin.tar.gz -C /home/module/

#解压出来里面还有一个目录，apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin，这里面才是 bin文件夹之类

mv apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin  dolphinscheduler-bin

三、环境要求

以下配置具体步骤可参考：

https://blog.csdn.net/qq_42672132/article/details/119910481

1、部署DolphinScheduler用户的要求

在所有部署调度的机器上创建部署用户，并且一定要配置sudo免密。
所有机器！！！

2、配置hosts映射

注意：依照官网要求，需要注释掉127.0.0.1这一行

vi /etc/hosts

#add ip hostname
192.168.xxx.xxx Master
192.168.xxx.xxx Worker01
192.168.xxx.xxx Worker02

然后同步/etc/hosts到所有节点

for ip in Worker01 Worker02;     #请将此处Worker01 Worker02替换为自己要部署的机器的hostname
do
    sudo scp -r /etc/hosts  $ip:/etc/          #在运行中需要输入root密码
done

3、配置SSH免密登录

–——参考了尚硅谷的资料，推荐一下B站尚硅谷，所有学习视频、资料全部免费，业界良心。不过加学习交流群的话小心点，装老师的骗子挺多

(1)、生成公钥和私钥：

ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

(2)、将公钥拷贝到要免密登录的目标机器上

ssh-copy-id Master
ssh-copy-id Worker01
ssh-copy-id Worker02

注意：

还需要在Master上采用root账号，配置一下无密登录到Master、Worker01、Worker02；

还需要在Worker01上采用lcq账号配置一下无密登录到Master、Worker01、Worker02

4、修改所属用户，所属组为部署者

sudo chown -R lcq:lcq dolphinscheduler-bin

四、初始化数据库

1、创建数据库并授权

我使用的是MySQL，如果是其他数据库，请参考官网（顶部链接）

mysql -h192.168.xx.xx -P3306 -uroot -p

进入数据库命令行窗口后，执行数据库初始化命令，设置访问账号和密码

注意：{user}、{password}修改为自己的用户名和密码

mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIED BY '{password}';

mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost' IDENTIFIED BY '{password}';

mysql> flush privileges;

2、修改配置

• 创建表和导入基础数据

  • 修改 conf 目录下 datasource.properties 中的下列配置

    vim /home/module/dolphinscheduler-bin/conf/datasource.properties
  

  • 如果选择 MySQL，请注释掉 PostgreSQL 相关配置(反之同理),
  • 还需要手动添加 [ mysql-connector-java 驱动 jar ] 包到 lib 目录下，这里下载的是mysql-connector-java-5.1.47.jar，然后正确配置数据库连接相关信息

    #postgre
    #spring.datasource.driver-class-name=org.postgresql.Driver
    #spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
    # mysql
    spring.datasource.driver-class-name=com.mysql.jdbc.Driver
    spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true     需要修改ip
    spring.datasource.username=xxx						需要修改为上面的{user}值
    spring.datasource.password=xxx						需要修改为上面的{password}值
  

  • 修改并保存完后，执行 script 目录下的创建表及导入基础数据脚本

  sh script/create-dolphinscheduler.sh
  

注意: 如果执行上述脚本报 ”/bin/java: No such file or directory“ 错误，请在/etc/profile下配置 JAVA_HOME 及 PATH 变量

五、修改运行参数

• 修改 conf/env 目录下的 dolphinscheduler_env.sh 环境变量(以相关用到的软件都安装在/home/module下为例)

  ##JAVA_HOME
  export JAVA_HOME=/home/module/jdk1.8.0_212
  export PATH=$PATH:$JAVA_HOME/bin
  
  ##HADOOP_HOME
  export HADOOP_HOME=/home/module/hadoop-3.1.3
  export PATH=$PATH:$HADOOP_HOME/bin
  export PATH=$PATH:$HADOOP_HOME/sbin
  
  #ZOOKEEPER_HOME
  export ZOOKEEPER_HOME=/home/module/zookeeper-3.5.7
  export PATH=$PATH:$ZOOKEEPER_HOME/bin
  
  #HIVE_HOME
  export HIVE_HOME=/home/module/hive
  export PATH=$PATH:$HIVE_HOME/bin
  
  #SQOOP_HOME
  export SQOOP_HOME=/home/module/sqoop
  export PATH=$PATH:$SQOOP_HOME/bin
  
  #SPARK_HOME
  export SPARK_HOME=/home/module/spark
  export PATH=$PATH:$SPARK_HOME/bin
  export PATH=$PATH:$SPARK_HOME/sbin
  
  
   `注: 这一步非常重要,例如 JAVA_HOME 和 PATH 是必须要配置的，没有用到的可以忽略或者注释掉`
  

• 将jdk软链到/usr/bin/java下(仍以 JAVA_HOME=/home/module/java 为例)

  sudo ln -s /home/module/jdk1.8.0_212/bin/java /usr/bin/java
  

• 修改一键部署配置文件 conf/config/install_config.conf中的各参数，特别注意以下参数的配置

• 对着下面的修改，我的也是根据官网这个修改的

  # 这里填 mysql or postgresql
  dbtype="mysql"
  
  # 数据库连接地址
  dbhost="Master:3306"
  
  # 数据库名
  dbname="dolphinscheduler"
  
  # 数据库用户名，此处需要修改为上面设置的{user}具体值
  username="lcq"
  
  # 数据库密码, 如果有特殊字符，请使用\转义，需要修改为上面设置的{password}具体值
  password="xxx"
  
  #Zookeeper地址
  zkQuorum="Master:2181,Worker01:2181,Worker02:2181"
  
  #将DS安装到哪个目录，如: /home/module/dolphinscheduler，不同于现在的目录
  installPath="/home/module/dolphinscheduler"
  
  #使用哪个用户部署，使用第3节创建的用户
  deployUser="dolphinscheduler"
  
  # 邮件配置，以qq邮箱为例
  # 邮件协议
  mailProtocol="SMTP"
  
  # 邮件服务地址
  mailServerHost="smtp.qq.com"
  
  # 邮件服务端口
  mailServerPort="25"
  
  # mailSender和mailUser配置成一样即可
  # 发送者
  mailSender="[email protected]"
  
  # 发送用户
  mailUser="[email protected]"
  
  # 邮箱密码
  mailPassword="xxx"
  
  # TLS协议的邮箱设置为true，否则设置为false
  starttlsEnable="true"
  
  # 开启SSL协议的邮箱配置为true，否则为false。注意: starttlsEnable和sslEnable不能同时为true
  sslEnable="false"
  
  # 邮件服务地址值，参考上面 mailServerHost
  sslTrust="smtp.qq.com"
  
  # 业务用到的比如sql等资源文件上传到哪里，可以设置：HDFS,S3,NONE，单机如果想使用本地文件系统，请配置为HDFS，因为HDFS支持本地文件系统；如果不需要资源上传功能请选择NONE。强调一点：使用本地文件系统不需要部署hadoop
  resourceStorageType="HDFS"
  
  #如果上传资源保存想保存在hadoop上，hadoop集群的NameNode启用了HA的话，需要将hadoop的配置文件core-site.xml和hdfs-site.xml放到安装路径的conf目录下，本例即是放到/home/module/dolphinscheduler/conf下面，并配置namenode cluster名称；如果NameNode不是HA,则只需要将mycluster修改为具体的ip或者主机名即可
  defaultFS="hdfs://mycluster:8020"
  
  
  # 如果没有使用到Yarn,保持以下默认值即可;如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,比如"192.168.xx.xx,192.168.xx.xx";如果是单ResourceManager请配置yarnHaIps=""即可
  yarnHaIps="192.168.xx.xx,192.168.xx.xx"
  
  # 如果ResourceManager是HA或者没有使用到Yarn保持默认值即可；如果是单ResourceManager，请配置真实的ResourceManager主机名或者ip
  singleYarnIp="yarnIp1"
  
  # 资源上传根路径,主持HDFS和S3,由于hdfs支持本地文件系统，需要确保本地文件夹存在且有读写权限
  resourceUploadPath="/data/dolphinscheduler"
  
  # 具备权限创建resourceUploadPath的用户
  hdfsRootUser="hdfs"
  
  
  
  #在哪些机器上部署DS服务，本机选localhost
  ips="ds1,ds2,ds3,ds4"
  
  #ssh端口,默认22
  sshPort="22"
  
  #master服务部署在哪台机器上
  masters="ds1,ds2"
  # 亲测可以只部署一台，目前没有出现问题
  
  #worker服务部署在哪台机器上,并指定此worker属于哪一个worker组,下面示例的default即为组名
  workers="ds3:default,ds4:default"
  
  #报警服务部署在哪台机器上
  alertServer="ds2"
  
  #后端api服务部署在在哪台机器上
  apiServers="ds1"
  

  特别注意：

  • 如果需要用资源上传到Hadoop集群功能， 并且Hadoop集群的NameNode 配置了 HA的话 ，需要开启 HDFS类型的资源上传，同时需要将Hadoop集群下的core-site.xml和hdfs-site.xml复制到/home/module/dolphinscheduler/conf，非NameNode HA跳过次步骤

六、一键部署

• 切换到部署用户lcq，然后执行dolphinscheduler-bin/目录下的一键部署脚本

  sh install.sh

  注意：
  第一次部署的话，在运行中第3步`3,stop server`出现5次以下信息，此信息可以忽略
  sh: bin/dolphinscheduler-daemon.sh: No such file or directory
  

• 脚本完成后，会启动以下5个服务，使用jps命令查看服务是否启动(jps为java JDK自带)

    MasterServer         ----- master服务
    WorkerServer         ----- worker服务
    LoggerServer         ----- logger服务
    ApiApplicationServer ----- api服务
    AlertServer          ----- alert服务

如果以上服务都正常启动，说明自动部署成功

部署成功后，可以进行日志查看，日志统一存放于logs文件夹内

 logs/
    ├── dolphinscheduler-alert-server.log
    ├── dolphinscheduler-master-server.log
    |—— dolphinscheduler-worker-server.log
    |—— dolphinscheduler-api-server.log
    |—— dolphinscheduler-logger-server.log

七、登录系统

• 访问前端页面地址,接口ip(自行修改) http://192.168.xx.xx:12345/dolphinscheduler
• 默认账户 admin 密码：dolphinscheduler123

八、我遇到的问题

遇到问题不要着急，先去看日志文件，不同服务的日志可能位于不同节点上，请注意检查。

分享一个博主的dolphinScheduler整理：https://blog.csdn.net/samz5906/article/details/106434430，
这里面有服务对应哪一个日志。

1、一键部署没有启动

我在部署的时候，几个服务第一次没有启动起来，然后我又一键部署了一次，服务项启动成功

注意：这个start-all.sh要使用你解压目录/bin里面的，不是配置文件中的安装目录
目前这两个有什么不同我还不清楚，如果有大佬知道，请留言告知。但是我使用安装目录中的start-all.sh，启动会失败。

2、几个服务都启动起来了，但是页面访问不了

我访问不了的原因是zookeeper没有启动起来，要注意你的zookeeper有没有成功启动。

也有可能是你的这个端口没有开放。