spark-shell 及 日志配置

1、当SparkContex线程被调用且没有被stop()时，可以使用http://192.168.1.xxx:4040来监控application的状态，但是当sc关闭时，4040页面就无法打开，所以配置History Server

http://spark.apache.org/docs/latest/running-on-yarn.html     官方文档

$ vi spark-default.conf

spark.eventLog.enabled true

spark.eventLog.dir hdfs://192.168.1.108:9000/sparkhistorylog    #web ui从此处读取历史日志

spark.eventLog.compress true

$ vi spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080#访问端口

-   Dspark.history.retainedApplications=3#内存中保存的application数目

-Dspark.history.fs.logDirectory=hdfs://192.168.1.108:9000/sparkhistorylog"

$ hadoop fs -mkdir /sparkhistorylog

$ cd $HADOOP_HOME

$sbin/stop-all.sh

$sbin/start-all.sh

$cd $SPARK_HOME

$sbin/start-history-server.sh

然后输入网址，显示如下

http://192.168.1.xxx:18080/

2、运行spark-shell时，会自动创建SparkContex sc ,

$ cd $SPARK_HOME/sbin

$ ./spark-shell --master yarn

scala> val text = sc.textFile("file:///tmp.hello.txt")

scala> text.count()

打开http://192.168.1.xxx:4040/ 观察job运行状态