Azkaban快速入门系列(1) | Azkaban的简单介绍

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/

  此篇为大家带来的是Azkaban的简单介绍。

---

一. 工作流调度器概述

1. 为什么需要工作流调度系统

1. 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等
2. 各任务单元之间存在时间先后及前后依赖关系
3. 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

1. 通过Hadoop先将原始数据上传到HDFS上（HDFS的操作）；
2. 使用MapReduce对原始数据进行清洗（MapReduce的操作）；
3. 将清洗后的数据导入到hive表中（hive的导入操作）；
4. 对Hive中多个表的数据进行JOIN处理，得到一张hive的明细表（创建中间表）；
5. 通过对明细表的统计和分析，得到结果报表信息（hive的查询操作）；
   

2. 工作流调度实现方式

1. 简单的任务调度：直接使用linux的crontab来定义；
2. 复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban、airflow等

3. 常见工作流调度系统

市面上目前有许多工作流调度器
在hadoop领域，常见的工作流调度器有Oozie, Azkaban,Cascading,Hamake等

4. 各种调度工具特性对比

  下面的表格对上述四种hadoop工作流调度器的关键特性进行了比较，尽管这些工作流调度器能够解决的需求场景基本一致，但在设计理念，目标用户，应用场景等方面还是存在显著的区别，在做技术选型的时候，可以提供参考

特性	Hamake	Oozie	Azkaban	Cascading
工作流描述语言	XML	XML (xPDL based)	text file with key/value pairs	Java API
依赖机制	data-driven	explicit	explicit	explicit
是否要web容器	No	Yes	Yes	No
进度跟踪	console/log messages	web page	web page	Java API
Hadoop job调度支持	no	yes	yes	yes
运行模式	command line utility	daemon	daemon	API
Pig支持	yes	yes	yes	yes
事件通知	no	no	no	yes
需要安装	no	yes	yes	no
支持的hadoop版本	0.18+	0.20+	currently unknown	0.18+
重试支持	no	workflownode evel	yes	yes
运行任意命令	yes	yes	yes	yes
Amazon EMR支持	yes	no	currently unknown	yes

5. Azkaban与Oozie对比

  对市面上最流行的两种调度器，给出以下详细对比，以供技术选型参考。总体来说，ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象。
对比如下：

• 功能
  两者均可以调度mapreduce,pig,java,脚本工作流任务
  两者均可以定时执行工作流任务
• 工作流定义
  Azkaban使用Properties文件定义工作流
  Oozie使用XML文件定义工作流
• 工作流传参
  Azkaban支持直接传参，例如$inputOozie支持参数和EL表达式，例如${fs:dirSize(myInputDir)}
• 定时执行
  Azkaban的定时执行任务是基于时间的
  Oozie的定时执行任务基于时间和输入数据
• 资源管理
  Azkaban有较严格的权限控制，如用户对工作流进行读/写/执行等操作
  Oozie暂无严格的权限控制
• 工作流执行
  Azkaban有两种运行模式，分别是solo server mode(executor server和web server部署在同一台节点)和multi server mode(executor server和web server可以部署在不同节点)
  Oozie作为工作流服务器运行，支持多用户和多工作流
• 工作流管理
  Azkaban支持浏览器以及ajax方式操作工作流
  Oozie支持命令行、HTTP REST、Java API、浏览器操作工作流

二. Azkaban

1. 什么是azkaban

  Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

2. Azkaban特点

• 1.兼容任何版本的hadoop
• 2.易于使用的Web用户界面
• 3.简单的工作流的上传
• 4.方便设置任务之间的关系
• 5.调度工作流
• 6.模块化和可插拔的插件机制
• 7.认证/授权(权限的工作)
• 8.能够杀死并重新启动工作流
• 9.有关失败和成功的电子邮件提醒

3. Azkaban的架构

  Azkaban由三个关键组件构成：

1. AzkabanWebServer：AzkabanWebServer是整个Azkaban工作流系统的主要管理者，它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务。
2. AzkabanExecutorServer：负责具体的工作流的提交、执行，它们通过mysql数据库来协调任务的执行。
3. 关系型数据库（MySQL）：存储大部分执行流状态，AzkabanWebServer和AzkabanExecutorServer都需要访问数据库。

  本次的分享就到这里了,

---

  好书不厌读百回，熟读课思子自知。而我想要成为全场最靓的仔，就必须坚持通过学习来获取更多知识，用知识改变命运，用博客见证成长，用行动证明我在努力。
  如果我的博客对你有帮助、如果你喜欢我的博客内容，请“点赞” “评论”“收藏”一键三连哦！听说点赞的人运气不会太差，每一天都会元气满满呦！如果实在要白嫖的话，那祝你开心每一天，欢迎常来我博客看看。
  码字不易，大家的支持就是我坚持下去的动力。点赞后不要忘了关注我哦！