spark-submit 依赖解决方案

spark的jar包没必要把所有相关的依赖都打进一个jar包中，因为这样会把spark、hadoop本身相关的jar包也打进去，但是这些依赖在用spark-submit命令运行时，会自动加载部署环境中已有的。

/opt/cloudera/parcels/CDH/bin/spark-submit \

–class “cn.icarevision.its007.upgrade.EsIndexUpgrade” \

–jars ~/its007/its007-upgrade/lib/dependency/.jar *

~/its007/its007-upgrade/lib/hello-es-hadoop_2.10-1.0.jar

其中–jars是是所有依赖的jar包，这里我把所有依赖的jar包放到了dependency这个目录。