DolphiScheduler平台上运行spark程序时,外部参数设置

DolphiScheduler平台上运行spark程序时,外部参数设置

近期使用DS平台执行spark程序,遇到了部分参数设置的问题,代码中需要外部传入一个参数procDate(处理日期),具体设置如下:

1. scala代码中需要传入时间和路径两个参数

# scala
val procDate = args(0)
val path= args(1)

2. DS作业中设置这两个参数的格式

  • 在主程序参数栏中传递这两个参数的值:$[yyyy-MM-dd-1] /user/home/test/
  • 参数$[yyyy-MM-dd] 表示当前日期,$[yyyy-MM-dd-1]表示当前日期-1天,如当前日期 $[yyyy-MM-dd]是2022-05-10,$[yyyy-MM-dd-1]就表示2022-05-09
  • /user/home/test/表示传入的第二个参数值
  • 两个参数间用空格分隔,类似shell命令
    主程序参数

你可能感兴趣的:(scala,Spark,spark,scala)