dolphinscheduler3.x本地启动

一、 基础软件安装(必装项请自行安装)

  • PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可
  • JDK (1.8+) : 必装
  • ZooKeeper (3.4.6+) :必装

在 ZooKeeper 的目录下新建 zkData、zkLog文件夹
将 conf 目录下的 zoo_sample.cfg 文件,复制一份,重命名为 zoo.cfg,修改其中数据和日志的配置,如:
dataDir=/data/zookeeper/data ## 此处使用绝对路径
dataLogDir=/data/zookeeper/datalog
运行 ./bin/zkServer.sh

  • Hadoop (2.6+) or MinIO :选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上
  • Maven: v3.5+,配阿里云仓库地址即可
  • Node: v16.13+ (dolphinScheduler 版本低于 3.0, 请安装 node v12.20+)

二、下载源码到本地

https://github.com/apache/dolphinscheduler.git

三、切换到指定分支,例如 3.0.0-xxx

        dolphinscheduler3.x本地启动_第1张图片

四、切换到 dolphinscheduler-ui 目录下执行 npm install

      dolphinscheduler3.x本地启动_第2张图片

        成功后提示如下:

        dolphinscheduler3.x本地启动_第3张图片

五、跳过测试编译

    dolphinscheduler3.x本地启动_第4张图片

     dolphinscheduler3.x本地启动_第5张图片

         编译成功后提示如下 ​​​​​​​

dolphinscheduler3.x本地启动_第6张图片

六、执行数据库脚本

-- 执行脚本前,创建数据库
CREATE DATABASE `dolphinscheduler`;

        dolphinscheduler3.x本地启动_第7张图片

 七、将父级 pom 中的mysql 依赖 scope 注释

        dolphinscheduler3.x本地启动_第8张图片

         刷新pom依赖

八、修改 dolphinscheduler-master 和 dolphinscheduler-worker 以及 dolphinscheduler-api配置,改为自己本地的数据库配置

driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8

dolphinscheduler3.x本地启动_第9张图片

dolphinscheduler3.x本地启动_第10张图片

dolphinscheduler3.x本地启动_第11张图片

  九、启动本地 ZooKeeper 

     dolphinscheduler3.x本地启动_第12张图片

 十、启动程序

(1)启动前端 npm run dev

dolphinscheduler3.x本地启动_第13张图片

 (2)启动 MasterServer

dolphinscheduler3.x本地启动_第14张图片

(3)启动 WorkerServer

dolphinscheduler3.x本地启动_第15张图片

(4)启动ApiApplicationServer

dolphinscheduler3.x本地启动_第16张图片

十一、访问前端页面

   http://localhost:3000/   

admin  dolphinscheduler123

dolphinscheduler3.x本地启动_第17张图片

======================================================================== 

十二、如果需要本地启动调度任务需要修改 Hadoop 的一些配置

(1)dolphinscheduler-dao 模块下放入 core-site.xml 和 hdfs-site.xml

dolphinscheduler3.x本地启动_第18张图片

(2)修改 dolphinscheduler-common 模块下的 common.properties 配置

dolphinscheduler3.x本地启动_第19张图片

需要修改的参数有 

 # 服务器上按照后软件的位置

data.basedir.path=/data/software/dolphins3

# 修改 为 HDFS 文件服务器存储模式

resource.storage.type=HDFS


# hdfs 文件服务器上存储调度系统上传资源的位置 resource.upload.path=/data/dolphinscheduler3

# hdfs 集群通信url

fs.defaultFS=hdfs://xxx.xxx.xxx.xxx:8020

# yarn 资源管理器ips

yarn.resourcemanager.ha.rm.ids=xxx.xxx.xxx.xxx

配置好之后就可以新建文件以及上传资源了

十三、源码打包,供服务器部署

# 打包
mvn -Dmaven.test.skip=true clean package install -Prelease

你可能感兴趣的:(大数据,框架和源码,大数据,后端,java)