大数据----【azkaban的部署及实战测试】

工作流程调度器

1. 工作流程调度系统产生背景

一个完整的数据分析系统通常都是由大量任务单元组成 :

​ shell脚本程序 , java程序 , MapReduce程序 , hive脚本等

各个任务单元之间存在时间先后依赖关系

为了更好地组织起这样的复杂执行计划 , 需要一个工作流程调度系统来调度执行

2. 工作流程调度实现方式

简单的任务调度 :

​ 直接使用linux的crontab来定义 , 但是缺点较明显 , 无法设置依赖 .

复杂的任务调度 :

​ 自主开发调度平台

​ 使用开源调度系统 , 比如azkaban , ooize , Zeus等

3. Azkaban调度器

3.1 Azkaban介绍

Azkaban 使用 job 配置文件建立任务之间的依赖关系，并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。

​ Azkaban功能特点

• 提供功能清晰，简单易用的 Web UI 界面
• 提供 job 配置文件快速建立任务和任务之间的依赖关系
• 提供模块化和可插拔的插件机制，原生支持 command、Java、Hive、Pig、Hadoop
• 基于 Java 开发，代码结构清晰，易于二次开发

3.2 Azkaban安装部署

Azkaban 的组成如下：

mysql 服务器:用于存储项目、日志或者执行计划之类的信息
web 服务器:使用 Jetty 对外提供 web 服务，使用户可以通过 web 页面方便管理
executor 服务器:负责具体的工作流的提交、执行。
Azkaban 有两种部署方式：solo server mode 和 cluster server mode。

solo server mode( 单机模式) )：该模式中 webServer 和 executorServer 运行在同一个进程中，进程名是 AzkabanSingleServer。可以使用自带的 H2 数据库或者配置 mysql 数据。该模式适用于小规模的使用。
cluster server mode( 集群模式) )：该模式使用 MySQL 数据库，webServer 和executorServer 运行在不同进程中，该模式适用于大规模应用。

其实在单机模式中，AzkabanSingleServer 进程只是把 AzkabanWebServer 和
AzkabanExecutorServer 合到一起启动而已。

准备工作
Azkaban Web 服务器
azkaban-web-server-2.5.0.tar.gz
Azkaban 执行服务器
azkaban-executor-server-2.5.0.tar.gz
MySQL
本文档中默认已安装好 mysql 服务器。
下载地址:http://azkaban.github.io/downloads.html

上传安装包
将安装包上传到集群,最好上传到安装 hive、sqoop 的机器上,方便命令的执行。
新建 azkaban 目录,用于存放 azkaban 运行程序。

• 解压三个文件并且重命名(可选)

tar –zxvf azkaban-web-server-2.5.0.tar.gz #解压
mv azkaban-web-server-2.5.0 webserver  #重命名
tar –zxvf azkaban-executor-server-2.5.0.tar.gz #解压
mv azkaban-executor-server-2.5.0 executor #重命名
tar –zxvf azkaban-sql-script-2.5.0.tar.gz #解压 
mv azkaban-2.5.0  sql #重命名

• 首先进入sql , 对其进行初始化

在mysql命令行中执行sql文件用source命令加全路径

进入 mysql
mysql -u root -p*******
mysql> create database azkaban;
mysql> use azkaban;
Database changed
mysql> source /export/servers/azkaban/sql/create-all-sql-2.5.0.sql;

• 安装web服务器

  • 创建SSL配置(https)

命令:keytool -keystore keystore -alias jetty -genkey -keyalg RSA

运行此命令后,会提示输入当前生成 keystor 的密码及相应信息,输入的密码请劳记,
信息如下:
输入 keystore 密码：123456
再次输入新密码:123456
您的名字与姓氏是什么？
[Unknown]：
您的组织单位名称是什么？
[Unknown]：
您的组织名称是什么？
[Unknown]：
您所在的城市或区域名称是什么？
[Unknown]：
您所在的州或省份名称是什么？
[Unknown]：
该单位的两字母国家代码是什么
[Unknown]： CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
[否]： y
输入的主密码 : 123456
（如果和 keystore 密码相同，按回车）：
再次输入新密码:123456
完成上述工作后,将在当前目录生成 keystore 证书文件,将 keystore 拷贝
到 azkaban web 服务器根目录中.如:cp keystore azkaban/webserver
移动也可以mv keystore webserver/

配置文件

cd webserver/conf

vi azkaban.properties

#Azkaban Personalization Settings
azkaban.name=Coco #服务器 UI 名称,用于服务器上方显示的名字
azkaban.label=Coco az #描述
azkaban.color=#FF3601 #UI 颜色
azkaban.default.servlet.path=/index #
web.resource.dir=web/ #默认根 web 目录
default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml #用户配置,具体配置参加下文

#Loader for projects
executor.global.properties=conf/global.properties # global 配置文件所在位置
azkaban.project.dir=projects

database.type=mysql 	 #数据库类型
mysql.port=3306 		 #端口号
mysql.host=localhost	 #数据库连接 IP
mysql.database=azkaban   #数据库实例名
mysql.user=root			 #数据库用户名
mysql.password=123		 #数据库密码
mysql.numconnections=100 #最大连接数

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25			#最大线程数
jetty.ssl.port=8443			#Jetty SSL 端口
jetty.port=8081				#Jetty 端口
jetty.keystore=keystore		#SSL 文件名
jetty.password=123456		#SSL 文件密码
jetty.keypassword=123456	#Jetty 主密码 与 keystore 文件相同
jetty.truststore=keystore	#SSL 文件名
jetty.trustpassword=123456	# SSL 文件密码

# Azkaban Executor settings
executor.port=12321			#执行服务器端口

# mail settings
mail.sender=				#发送邮箱
mail.host=					#发送邮箱 smtp 地址
job.failure.email=			#任务失败时发送邮件的地址
job.success.email=			#任务成功时发送邮件的地址

lockdown.create.projects=false

cache.directory=cache		#缓存目录

配置管理员的用户名和密码

vi azkaban-users.xml

<azkaban-users>
        <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        <user username="metrics" password="metrics" roles="metrics"/>
    
        <user username="admin" password="admin" roles="admin,metrics" />
    
        <role name="admin" permissions="ADMIN" />
        <role name="metrics" permissions="METRICS"/>
azkaban-users>

• 安装executor

vi azkaban.properties

#Azkaban
default.timezone.id=Asia/Shanghai  #时区修改

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes	#jobtype 插件所在位置

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql		#数据库类型(目前只支持 mysql)
mysql.port=3306			#数据库端口号
mysql.host=localhost	#数据库 IP 地址
mysql.database=azkaban  # 数据库修改
mysql.user=root			#用户名
mysql.password=123		#密码
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50		#最大线程数	
executor.port=12321			#端口号(如修改,请与 web 服务中一致)
executor.flow.threads=30	#线程数

• 启动

  • web服务器

  在 azkaban web 服务器目录下执行启动命令

  bin/azkaban-web-start.sh

  注:必须在 web 服务器根目录运行

  • 执行服务器

  在执行服务器目录下执行启动命令

  bin/azkaban-executor-start.sh

  注:只能在执行服务器根目录运行

启动完成后,在浏览器(建议使用谷歌浏览器)中输入 https://服务器 IP 地址:8443 ,即可访问 azkaban 服务了.在登录中输入刚才新的户用名及密码(都是admin),点击 login.

访问时会报没有证书认证 , 此时我们点击高级继续访问即可

3.3 Azkaban实战

Command类型单一job示例

• 创建job描述文件

#command.job
type=command
command=echo hello

• 将job资源打成zip文件===>command1.zip

• 通过azkaban的web管理平台创建project并上传job压缩包

  • 创建Project

• 上传zip包
  

• 启动执行该 job

[注意 : ] 这里只要是一个任务 , 不管几个文件都打包成一个zip包即可

Command类型多job工作流flow

• 创建有依赖关系的多个job描述

第一个job : foo.job

# foo.job
type=command
command=echo foo

第二个 job：bar.job 依赖 foo.job

# bar.job
type=command
dependencies=foo
command=echo bar

• 将所有 job 资源文件打到一个 zip 包中

• 在azkaban的web管理界面创建工程上传zip包即可
• 启动工作流flow

HDFS操作任务

• 创建job描述文件

# fs.job
type=command
command=/export/servers/hadoop-2.7.4/bin/hadoop fs -mkdir /azaz666

• 将 job 资源文件打包成 zip 文件

• 通过 azkaban 的 web 管理平台创建 project 并上传 job 压缩包
• 启动执行该 job

MapReduce任务

mr任务依然可以使用command的job类型来执行

• 创建 job 描述文件，及 mr 程序 jar 包（示例中直接使用 hadoop 自带的 example jar）

# fs.job
type=command
command=/export/servers/hadoop-2.7.4/bin/hadoop  jar hadoop-mapreduce-examples-2.7.4.jar  pi 4 8

• 将所有 job 资源文件打到一个 zip 包中

• 在 azkaban 的 web 管理界面创建工程并上传 zip 包

• 启动 job

hive脚本任务

• 创建 job 描述文件和 hive 脚本

Hive脚本 : test.sql

use default;
drop table aztest;
create table aztest(id int,name string) row format delimited fields terminated by ',';
load data inpath '/aztest/hiveinput' into table aztest;
create table azres as select id from aztest;
insert overwrite directory '/aztest/hiveoutput' select count(1) from aztest; 

• Job 描述文件：hivef.job

# hivef.job
type=command
command=/export/servers/hive/bin/hive -f 'test.sql'

• 将所有 job 资源文件打到一个 zip 包中创建工程并上传 zip 包,启动 job
• 注意提前创建好目录

---

• azkaban 因为支持原生的linux command

  • 所以说任何一个只要可以通过shell命令行执行的软件 都可以转化成为azkaban来调度。

  type=command
  command=sh xxx.sh
  
  xxx.sh
  具体要做的事
  

• 总结azkaban工作流程

  • 配置job文件（注意文件的第一行头信息）
  • 把job配置连同其他资源一起打成.zip压缩包
  • 页面上创建工程project
  • 上传.zip压缩包
  • execute/schedule