spark-submit的执行原理

Created by Wang, Jerry on Aug 08, 2015

0和PWD%/* shell变量的一些特殊用法 在命令行状态下单纯执行 $ cddirname 0` 是毫无意义的。因为他返回当前路径的0echopwd然后返回到/home/admin/执行 sh test/test.sh 运行结果: /home/admin/test 这样就可以知道一些和脚本一起部署的文件的位置了,只要知道相对位置就可以根据这个目录来定位,而可以不用关心绝对位置。这样脚本的可移植性就提高了,扔到任何一台服务器,(如果是部署脚本)都可以执行。 $0当前Shell程序的文件名 dirname $0,获取当前Shell程序的路径 cddirname $0`,进入当前Shell程序的目录
实际上是直接执行pwd命令:



使用printf 打印变量的值:

执行结果:

实际上是调用bin folder下的spark-class(也是一个脚本), 输入参数为org.apache.spark.deploy.sparkSubmit:

--help只显示help:

真正的执行:

要获取更多Jerry的原创文章,请关注公众号"汪子熙":


你可能感兴趣的:(spark-submit的执行原理)