spark-任务提交多个jar包问题(Oozie调度)

spark-submit \
--class  com.xxx.bigdata.handler.xxx \ -- 运行的主类
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--executor-memory 2g \
--executor-cores 2 \
--jars hdfs:///user/admin/xx/basejar/dw-xx-1.0.0-SNAPSHOT.jar,hdfs:///user/admin/xx/basejar/dw-xx-1.0.0-SNAPSHOT.jar,hdfs:///user/admin/xx/basejar/base-1.0-SNAPSHOT-shaded.jar,hdfs:///user/admin/xx/basejar/xx-sdk-1.0.0-SNAPSHOT.jar \  -- 依赖的jar包必须在一行
hdfs:///user/admin/xx/sourcejar/dw-xx-sdk-1.0.0-SNAPSHOT.jar -- 运行的主类所在的jar包

提交任务的时候,--jars指定jar包的时候,依赖jar和业务jar只能位于两行,依赖jar在第一行,业务jar在第二行。

否则会报找不到类的问题

你可能感兴趣的:(大数据)