Azkaban安装并设置定时任务Schedule以及邮件发送接收
缘起
之前的任务一直使用的是crontab定时任务，要通过监听任务运行日志才可以知道任务执行失败，并且还要设置邮件发送比较麻烦。最重要的是crontab无法维护任务之间的依赖关系。而使用Azkaban可以很方便的管理任务之间的依赖关系，可以设置任务失败执行重试操作和邮件发送，NICE！
安装
首先第一步肯定是要上官网瞄一下啦！ https://azkaban.github.io/azkaban/docs/latest/#overview
solo server mode可以满足我们的需求，就是它了！
最好先创建一个工作目录，在工作目录里面操作，这里我创建了一个工作目录 /big_data,接着就按照官方文档的步骤来：
git clone https://github.com/azkaban/azkaban.git
cd azkaban;
./gradlew build
./gradlew build
./gradlew clean
./gradlew installDist
./gradlew test
./gradlew build -x test
./gradlew build installDist画重点：为了避免不必要的权限问题出现，比如要执行的用户是hdfs，在这一步完成以后，一定要修改azkaban目录下的owner：
chown hdfs:hdfs -R azkaban/开启azkaban服务：
cd azkaban-solo-server/build/install/azkaban-solo-server; bin/start-solo.sh注意：为了避免用户权限问题，跑任务的是哪个用户，必须要切换到哪个用户启动azkaban，不然的话会出现权限问题！
停止azkaban服务：
cd azkaban-solo-server/build/install/azkaban-solo-server;bin/shutdown-solo.shhttp://IP:8081/index默认的azkaban web端口号是8081
创建工作流
创建工作流请跳到官网的https://azkaban.github.io/azkaban/docs/latest/#creating-flows上查看，还是比较简单的！
填好工程名称和描述
创建四个job：
1 sync_Apply_CreditCard.job
#sync_Apply_CreditCard.job
type=command
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Apply_CreditCard.sh
retries=3 #失败重试3次
retry.backoff=30000 #每次重试间隔，单位为毫秒2 sync_Company.job
type=command
dependencies=sync_Apply_CreditCard
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Company.sh
retries=3
retry.backoff=300003 sync_Product_CreditCard.job
type=command
dependencies=sync_Company
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Product_CreditCard.sh
retries=3
retry.backoff=300004 sync_Member.job
#sync_Member.job
type=command
dependencies=sync_Product_CreditCard
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Member.sh
retries=3
retry.backoff=30000然后使用zip命令将这四个文件打成zip文件：
zip CRMMarket.zip *
选择刚才打好的zip文件上传，上传完成后可以看到：
这就说明zip包解析没有问题，.job文件语法也没有问题，依赖关系也OK！
设置Schedule
1.设置azkaban为上海时区：
由于azkaban默认的时区是美国时区，所以要将默认时区设置成上海时区。azkaban的默认时区配置如下：
default.timezone.id=America/Los_Angeles包含时区设置的文件有四个：
/big_data/azkaban/azkaban-solo-server/src/main/resources/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/resources/main/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/install/azkaban-solo-server/conf/azkaban.properties将这四个文件的时区设置修改成：
#default.timezone.id=America/Los_Angeles
default.timezone.id=Asia/Shanghai然后重启azkaban服务。
2.设置定时任务：
选中project，点击Execute Flow：
设置每天16:00跑这个定时任务：
设置邮箱通知
Azkaban还具有任务执行结果邮件通知功能，在solo server mode安装模式下，配置邮件通知的方式如下：
1.配置邮件发送者：
/big_data/azkaban/azkaban-solo-server/src/main/resources/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/resources/main/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/install/azkaban-solo-server/conf/azkaban.properties修改这三个文件的如下内容：
# mail settings
#mail.sender=邮件发送者
#mail.host=发送邮件服务器 腾讯企业邮箱的host是：smtp.exmail.qq.com 126邮箱的host是：smtp.126.com 163邮箱的host是：smtp.163.com
[email protected]
mail.host=smtp.126.com
[email protected]
mail.password=XXXXXXX2.配置邮件接收者：
在任务流Flow的最后一个.job中文件中添加如下内容
#任务执行失败发送邮件，多个接收邮件人之间用“,”分隔
[email protected],[email protected]
#任务执行成功发送邮件
[email protected]
#任务执行完成，无论成功还是失败发送邮件
[email protected]