Spark搭建历程-《sparkStreaming》1

在虚拟机上搭运行spark程序的时候：

 spark-submit  --queue media --class test.SparkStreamingDemo  --master yarn-cluster --executor-memory 2g  --executor-cores 2 --conf spark.yarn.submit.waitAppCompletion=false  ~/shengjunyang/etl-anal-1.0-SNAPSHOT-jar-with-dependencies.jar  localhost 9999

报错：

Exception in thread "main" java.lang.Exception: When running with master 'yarn-cluster' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
解决方法： hadoop，spark默认安装在usr/local目录下。搭建的教程可以参照厦门大学数据库实验室

通过下面命令可以测试spark是否安装成功：

环境变量配置

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
PATH=$PATH:$HIVE_HOME/bin:$HADOOP_HOME/bin

小技巧：

spark-submit 测试安装是否成功
 

cd /usr/local/spark
./bin/run-example SparkPi 2>&1 | grep "Pi is"

Shell中管道命令操作符为”|”，仅能处理前面的一个指令传出的正确输出信息，也就是标准输出的信息(没法处理错误信息)。然后传递给下一个命令，作为标准的输入。grep是过滤选出Pi is 的打印语句