./spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class

./spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class

今天一直遇到spark异常,从来没有见到过这种异常,百度搜索也总是搜索不到,只能一个一个改配置文件,我以前的配置文件是配置了

HADOOP_CONF_DIR=/root/hadoop-2.7.3/etc/hadoop

export JAVA_HOME=/root/local/jdk1.8

SPARK_MASTER_HOST=master

SPARK_MASTER_PORT=7077

但是一直报错,我查询了很多资料都没有说这样配置错误,但是运行./start-all.sh时没错,一旦运行./spark-shell命令时就崩溃了,连namenode也一起崩了。


解决:

我后来把配置文件都删了只留下一个HADOOP_CONF_DIR配置就可以运行了,感觉到很奇怪


你可能感兴趣的:(坑爹那回事)