Azkaban调度Spark任务

调度Spark任务Demo

创建一个新的project

image

编写代码
写一段简单的Spark代码，将程序打包

package com.test
import org.apache.spark.{SparkConf, SparkContext}
 
object AzkabanTest extends App{
  val conf = new SparkConf()
  .setMaster("local[2]")
  .setAppName("azkabanTest")
  val sc = new SparkContext(conf)
 
  val data = sc.parallelize(1 to 10)
  data.map{_ * 2}.foreach(println)
}

编写调度命令

vi test.job

type=command
command=/usr/install/spark/bin/spark-submit --class com.test.AzkabanTest test-1.0-SNAPSHOT.jar

将这两个文件以zip的形式打包在一起

zip -r xxx.zip azkabanTest

上传工程

目前azkaban只支持zip包，其中要包括.job文件以及一些需要的工程和文件。

image

image

设置离线任务执行周期

如果需要的话可以设置离线任务的执行周期（类似于cron的功能）

image

任务通知

可以设置任务完成或失败进行邮箱通知等操作。

image

一些界面

主界面

image

任务完成情况

image

任务log详情

image