spark启动报错排查！！！（花了三个小时终于解决，解决之后感觉很爽很有成就感）

今天午饭推迟了半个小时才去吃，就搞这个来着，搞完了轻松了，吃饭都香。

spark的目录有一个问题，忘记说了，spark里面的用户莫名其妙叫什么500，权限根本不属于我

，报错里没看出来这一点。

我得把整个spark目录的拥有者先变成我自己

sudo chown -R liugen:liugen /work/spark

核心问题是出在这里！！！tmd，终于成功了。

重启了下spark，可以了。stop-all.sh然后start-all.sh。

现在去192.168.66.185:4040访问一下 spark的UI界面，看起来还不错哦，虽然看不太懂。以后会成为亲切的一部分。

 

 

 

 

一启动spark-shell就报几千行错，弄得我一脸懵逼

后来发现是下图我注释掉的这两行没写，

参考：https://www.cnblogs.com/kxdblog/p/4345356.html

vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_25
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-2.2.0
export HBASE_HOME=/usr/local/hbase
export HIVE_HOME=/usr/local/hive
export SQOOP_HOME=/usr/local/sqoop
export PIG_HOME=/usr/local/pig
export PIG_CALSSPATH=$HADOOP_HOME/etc/hadoop
export MAVEN_HOME=/opt/apache-maven-3.2.3
export ANT_HOME=/opt/apache-ant-1.9.4
export PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin:$SQOOP_HOME/bin:$PIG_HOME/bin
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER=localhost
export SPARK_LOCAL_IP=localhost
export SPARK_HOME=/usr/local/spark
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

 

 

spark-env.sh:

还有一个文件叫spark-default.conf那个在我看来好像没什么用，集群的时候会用到，我先把我这个单机的搞定再说吧。

spark的文件里要写清java和scala以及hadoop的三个HOME目录，因为要用到这三个。

然后配置文件的注释里也把每种模式要做的配置写清楚了，

比如local本地模式  

只需要写清 expor HADOOP_CONF_DIR  //hadoop的配置路径

SPARK_LOCAL_IP   //这个填公网ip，让别的机器可以访问到你，或者填localhost

SPARK_PUBLIC_DNS  //看起来用默认的就可以

spark-shell启动，终于成功。

 

jps一下，有sparksubmit应该就成功了吧。

 

rm -rf  强制删除

ll 查看用户和权限

groups