关于 Spark WebUI 不显示 Completed Applications 的明细

今天有人问到了这个问题，在此做个记录，在WebUI中是否显示你的Application，取决于你提交的方式，以下的运行方式就不会显示在UI中，前2种是本地命令执行，第3种是在YARN中执行：

• ./run-example org.apache.spark.examples.SparkPi
• ./spark-submit --class org.apache.spark.examples.SparkPi /path/sparkex.jar
• ./spark-submit --class org.apache.spark.examples.SparkPi --master yarn /path/sparkex.jar

很多人按照网上的一般性文档，都是直接使用run-example执行的，所以不会显示在列表中，那么，如何执行会显示在UI中呢？如以下方式：

• ./spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop-master:7077 /path/sparkex.jar

所以，重点就在参数--master上面。