spark提交命令中的jars设置方式

此方法是在大数据平台架构与原型实现:数据中台建设实战这本书上看到的
之前我们使用的方式是将所有jar的名字加入到配置文件中,提取为jars参数

1.脚本目录下创建lib文件夹

2.将依赖jar包存放至lib下

2.脚本中写入以下命令

JAR_DIR="lib"

JARS=""

for JAR in $(ls ${JAR_DIR})
do
    JARS="$JAR_DIR/$JAR,$JARS"
done
JARS=${JARS%,}

echo $JARS

$JARS即为 --jars 后跟的参数

你可能感兴趣的:(Spark,spark,大数据,hadoop)