Dolphin Scheduler 调研日记（一）：环境准备
先发一个官方的链接
https://dolphinscheduler.apache.org/zh-cn/docs/1.2.0/user_doc/standalone-deployment.html
1、基础软件就位
这里用的单机模式，必须的软件工具有
- PostgreSQL (8.2.15+) or Mysql (5.7系列) : 两者任选其一即可
- JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量
- ZooKeeper (3.4.6+) ：必装
1.1 解决 JDK的问题
先解决JDK的问题，这里因为用的Ubuntu的操作系统，版本 16.04，属于 Dolphin Scheduler支持的 Ubuntu 的最低版本，该版本自带了 Java 的环境，因此，需要找到 Java 的安装目录，后面的步骤需要用到：
先用which 语法定位 java的位置
which java得到的结果为
/usr/lib/java这里位置的 java 不是一个目录，是一个软连接，因此，需要找到软连接对应的位置
在该目录下执行
ls -l /usr/lib/java或者
ls /usr/lib/java -all结果如下：
lrwxrwxrwx 1 root root 22 8月 13 2019 java -> /etc/alternatives/java这里找到的还是一个软连接，再次使用 ls -l 命令
lrwxrwxrwx 1 root root 46 8月 13 2019 java -> /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java这样的话，java 的位置就找到了
或者也可以用这个方法
which javac返回
/usr/bin/javac然后
file /usr/bin/javac返回
/usr/bin/javac: symbolic link to `/etc/alternatives/javac'然后
file /etc/alternatives/javac返回
/etc/alternatives/javac: symbolic link to `/usr/lib/jvm/java-6-sun/bin/javac'然后
file /usr/lib/jvm/java-6-sun/bin/javac返回
/usr/lib/jvm/java-6-sun/bin/javac: ELF 32-bit LSB executable, Intel 80386, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.2.5, not stripped到此为止，说明路径是 /usr/lib/jvm/java-6-sun/bin/
找到Java的安装目录之后，就可以在 /etc/profile 中设置环境变量了
注意：环境变量修改之后要用 resource /etc/profile 命令生效
用 echo $JAVA_HOME 检查修改后的环境变量是否生效
1.2 安装Mysql
这个基本都有现成的博文作为参照，列举一下大致的步骤
解压 --> 创建Data目录 --> 创建mysql用户，设置相关目录的owner --> 配置 my.cnf 配置文件 --> 初始化安装（同时获取密码）
--> 初始密码登录，进行密码修改 --> 允许远程连接 --> 设置开机自启动 --> flush privileges --> 退出MySQL
注意几个问题：
设置目录的权限（用到递归）： chown mysql:mysql -R 【mysql root path】
配置MySQL的环境变量不是必须的，不过设置好了操作会方便一些
mysql的状态查看：
systemctl status mysql.service
类似的用法还有：
systemctl status nginx.service 查看nginx的运行状态
MySQL启动失败问题解决：
切换Linux用户为 mysql，在mysql/bin 目录下执行如下命令：
./mysqld start --user=mysql
1.3 安装 Zookeeper
1、按照教程操作即可，需要注意的是，zookeeper从3.5开始，Zookeeper AdminServer 默认使用8080端口，如果发生端口冲突，这需要在配置文件 zoo.cfg 中设置一下，比如： admin.serverPort=9001
2、启动的时候遇到了一个问题，找不到如下的类：
org.apache.zookeeper.server.quorum.QuorumPeerMain
原因：从3.5.5版本开始，带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包，而不带bin的tar.gz的包里面是只是源码的包无法直接使用。
这个问题比较恶心，需要注意
zookeeper服务的启停：bin目录下
sh ./zkServer start
sh ./zkServer stop
1.4 Python工具
版本要 3.X的版本，要装 pip 工具和 kazoo
安装 pip 和 kazoo：
#centOS请使用
sudo yum -y install python-pip;
#ubuntu请使用
sudo apt-get install python-pip
#安装 kazoo
sudo pip install kazoo;注意：如果yum没找到python-pip，也可以通过下面方式安装
sudo curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
sudo python get-pip.py # 如果是python3，使用sudo python3 get-pip.py
#然后
sudo pip install kazoo;版本查看：
python --version
pip --version
踩到的坑：
1、不知道Ubuntu自带的Java装在哪里了
2、MySQL安装的过程中，目录权限的问题未正确处理好，期间对 【mysql root path】的 owner 进行了变更，但变更不彻底，引出了Bug，错误日志记录如下：
[ERROR] InnoDB: The innodb_system data file 'ibdata1' must be writable
[ERROR] InnoDB: Cannot open '/home/kotei/AR_Map/mysql-5.7.23-linux-glibc2.12-x86_64/data/ib_buffer_pool' for reading: Permission denied
[ERROR] Failed to create file(file: './auto.cnf', errno 13)3、zookeeper的压缩包需要下载带有 bin 的包
收获：
1、用which 命令和 file 命令对软连接进行追踪，找到Java的安装目录
2、权限问题是Linux系统安装工具的时候很容易出现的问题，需要注意