【部署】Apache DolphinScheduler 伪集群部署

【部署】Apache DolphinScheduler(海豚) 伪集群部署(Pseudo-Cluster)

  • Standalone极速体验版
  • DolphinScheduler 伪集群部署
    • 前置准备工作
    • 本地部署环境
    • 准备 DolphinScheduler 启动环境
      • 配置用户免密及权限
      • 配置机器SSH免密登陆
    • 启动zookeeper
    • 下载并解压
    • 修改相关配置
    • 初始化数据库
    • 安装并启动 DolphinScheduler
    • 登录 DolphinScheduler
    • 启停服务
  • 快速上手
  • 部署遇到的问题

Standalone极速体验版

Standalone 仅适用于 DolphinScheduler 的快速体验.

如果你是新手,想要体验 DolphinScheduler 的功能,推荐使用Standalone方式体检。如果你想体验更完整的功能,或者更大的任务量,推荐使用伪集群部署。如果你是在生产中使用,推荐使用集群部署或者kubernetes

注意: Standalone仅建议20个以下工作流使用,因为其采用 H2 Database, Zookeeper Testing Server,任务过多可能导致不稳定

DolphinScheduler 伪集群部署

伪集群部署目的是在单台机器部署 DolphinScheduler 服务,该模式下master、worker、api server、logger server都在同一台机器上

前置准备工作

伪分布式部署 DolphinScheduler 需要有外部软件的支持

  1. JDK:下载JDK (1.8+),并将 JAVA_HOME 配置到以及 PATH 变量中。如果你的环境中已存在,可以跳过这步。
  2. 二进制包:在下载页面下载 DolphinScheduler 二进制包
  3. 数据库:PostgreSQL (8.2.15+) 或者 MySQL (5.7+),两者任选其一即可,如 MySQL 则需要 JDBC Driver 8.0.16
  4. 注册中心:ZooKeeper (3.4.6+)

注意: DolphinScheduler 本身不依赖 Hadoop、Hive、Spark,但如果你运行的任务需要依赖他们,就需要有对应的环境支持

本地部署环境

  1. 虚拟软件:Vmware15 安装指南
  2. 操作系统:Ubuntu 11.3.0-1ubuntu1~22.04 安装指南
  3. JDK:jdk-8u231-linux-x64 安装指南
  4. Zookeeper:apache-zookeeper-3.5.7-bin 安装指南
  5. DolphinScheduler:apache-dolphinscheduler-2.0.5-bin

你可能感兴趣的:(linux,apache,Scheduler,Dolphin)