在spark集群上运行自己的java程序

   看各路高手说在spark集群上运行java程序用spark-submit.sh ....然后一堆参数,很是麻烦!

   那么问题来了,对于我这个习惯中传统java命令执行程序的人来说怎么办,..而且这种方式不易于与其他程序合并, 这里有一种很简洁的方式就是在conf/spark-env中配置:export SPARK_CLASSPATH="$SPARK_CLASSPATH:/custom/*";然后把自己的程序jar都扔custom目录中一份,接下来在服务器任意目录都可以用传统的java命令执行程序了,spark Excutor会根据上面配置 的路径将所需要加载的类自动加载,这种执行方式是不是很happy了...不喜勿喷,请提出您宝贵的建议供大家学习


你可能感兴趣的:(在spark集群上运行自己的java程序)