大数据笔记--Azkaban3.50.0搭建教程（采坑笔记）

大数据笔记–Azkaban3.50.0搭建教程（采坑笔记）

• 所需环境

1. 服务器一台
2. 3.50.0安装包
3. mysql搭建完成

---

• 下载安装包

3.50.0安装包下载

• 通过FTP上传压缩包并修改邮件代码

# 进入azkaban目录修改
cd azkaban-3.50.0
# 修改代码
vim azkaban-common/src/main/java/azkaban/utils/EmailMessage.java
# 找到邮件参数配置的地方
:/props
# 增加如下语句
props.put("mail.smtp.socketFactory.class", "javax.net.ssl.SSLSocketFactory");
# Gradle是一个基于Apache Ant和Apache Maven的项目自动化构建工具。-x test 跳过测试

• 使用gradle开始编译,并且把编译出来的tar包从文件的深层次拷贝出来

# 安装git
yum install git-core
# 构建项目并跳过测试
./gradlew build installDist -x test 
# 查看是否构建成功目录
ll azkaban-*/build/distributions/*.tar.gz
# 把项目拷贝到该目录
cp azkaban-*/build/distributions/*.tar.gz ./

• two-server方式运行

tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz 
tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz 
tar -xzvf azkaban-db-0.1.0-SNAPSHOT.tar.gz

• 安装mysql

mysql安装教程

• 为azkaban准备一个数据库

# 创建数据库
CREATE DATABASE azkaban;
# 创建用户
CREATE USER 'azkaban'@'%' IDENTIFIED BY '123456!';
# 赋予访问权限
GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;
# 刷新
FLUSH PRIVILEGES;
# 切换数据库
use azkaban;
# 加载数据库
source azkaban-3.50.0/azkaban-db-0.1.0-SNAPSHOT/create-all-sql-0.1.0-SNAPSHOT.sql;

• SSL配置

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

输入密钥库口令: //123456
再次输入新口令: //123456
您的名字与姓氏是什么?//可以不输入直接回车
  [Unknown]:  
您的组织单位名称是什么?//可以不输入直接回车
  [Unknown]:  
您的组织名称是什么?//可以不输入直接回车
  [Unknown]:  
您所在的城市或区域名称是什么?//可以不输入直接回车
  [Unknown]:  
您所在的省/市/自治区名称是什么?//可以不输入直接回车
  [Unknown]:  CN
该单位的双字母国家/地区代码是什么?//可以不输入直接回车
  [Unknown]:  CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=CN, C=CN是否正确?
 [否]:  y

输入  的密钥口令
        (如果和密钥库口令相同, 按回车):  //直接回车

# 完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 拷贝到 azkaban web服务器（server）根目录中.

• 配置conf/azkaban.properties

  如果Azkaban WebServer下面没有conf目录，将azkaban-solo-web 下的conf目录拷贝过来

cd /opt/software/azkaban-3.50.0/azkaban-web-server-0.1.0-SNAPSHOT
cp -R ../azkaban-solo-server/src/main/resources/conf ./
cp  ../azkaban-solo-server/src/main/resources/log4j.properties ./conf/

#Azkaban Personalization Settings
#服务器UI名称,用于服务器上方显示的名字
azkaban.name=Test
#描述
azkaban.label=My Local Azkaban
#UI颜色
azkaban.color=#FF3601          
azkaban.default.servlet.path=/index
#默认根web目录建议最好写绝对路径，以免出现找不到文件错误
web.resource.dir=azkaban-server/web/  
#默认时区,已改为亚洲/上海 默认为美国
default.timezone.id=Asia/Shanghai
#Azkaban UserManager class
 #用户权限管理默认类
user.manager.class=azkaban.user.XmlUserManager
#用户配置,具体配置参加下文
user.manager.xml.file=azkaban-server//conf/azkaban-users.xml 
#Loader for projects
# global配置文件所在位置
executor.global.properties=azkaban-server/conf/global.properties    
azkaban.project.dir=projects
#数据库类型
database.type=mysql                                                              
#端口号
mysql.port=3306
#数据库连接IP
mysql.host=localhost
#数据库用户名
mysql.database=azkaban                                                  
mysql.user=azkaban
#数据库密码
mysql.password=123456
#最大连接数
mysql.numconnections=100                                      
# Velocity dev mode
# Jetty服务器属性.
velocity.dev.mode=false
#最大线程数
jetty.maxThreads=25
#Jetty SSL端口
jetty.ssl.port=8443
#Jetty端口
jetty.port=8081
#SSL文件名
jetty.keystore=keysotre的位置
#SSL文件密码
jetty.password=123456
#Jetty主密码 与 keystore文件相同
jetty.keypassword=123456
#SSL文件名
jetty.truststore=keysotre的位置
# SSL文件密码
jetty.trustpassword=123456                                            
# 执行服务器属性
# 执行服务器端口
# executor.port=12321

# 邮件设置
#发送邮箱
[email protected]
#发送邮箱smtp地址
mail.host=smtp.163.com 
#发送邮件时显示的名称
mail.user=
#邮箱密码
mail.password=
mail.tls=true
## 根据邮箱的端口设置（阿里云平台限制25端口，如果在云上部署要设置该部分）
mail.port=465
#任务失败时发送邮件的地址
job.failure.email=
#任务成功时发送邮件的地址
job.success.email=
lockdown.create.projects=false
#缓存目录
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes

• 配置commonprivate.properties

cd /usr/local/bigdata/azkaban-3.50.0/azkaban-web-server-0.1.0-SNAPSHOT
mkdir -p plugins/jobtypes
vim commonprivate.properties

azkaban.native.lib=false
execute.as.user=false

• 用户配置

1. 进入azkaban web服务器(server)conf目录,修改azkaban-users.xml

第三行设置账号密码

        
        
        
        
        

• web部分已配置完毕

---

• 配置executor

将 azkaban-web-server-0.1.0-SNAPSHOT目录下的conf拷贝到 azkaban-exec-server-0.1.0-SNAPSHOT
cd azkaban-exec-server-0.1.0-SNAPSHOT
cp -R ../azkaban-web-server-0.1.0-SNAPSHOT/conf ./
将 azkaban-web-server-0.1.0-SNAPSHOT的plugins目录拷贝到 azkaban-exec-server-0.1.0-SNAPSHOT
cp -R ../azkaban-web-server-0.1.0-SNAPSHOT/plugins ./

• executor配置完毕

---

1. 进入azkaban-exec-server-0.1.0-SNAPSHOT下启动（注意不要进入bin目录启动）

./bin/start-exec.sh

2. 进入azkaban-web-server-0.1.0-SNAPSHOT下启动（注意不要进入bin目录启动）

./bin/start-web.sh