hadoop+scala+spark搭建的血泪教训

一年前就已经搭建好了,忙于学习其他方面的,hadoop和spark的学习就耽误了,昨天开始重新学习。原本搭建的环境是完全没有问题的,但是spark总是启动不起来。本弱小女子熬到晚上1点40外加早上又找了三个小时,才找到这个弱智错误,暗暗骂了自己好多遍傻逼。
运行:./bin/run-example org.apache.spark.examples.SparkPi 是没有问题的

因为环境变量里配上上了hadoop的sbin,所以start-all.sh这条语句无论在哪里运行(甚至在spark的sbin里)其实都是在运行hadoop里sbin里的start-all.sh,也就是语句冲突的问题。
解决办法:
通过此方法访问
$HDOOP_HOME/sbin/start-dfs.sh
$HDOOP_HOME/sbin/start-yarn.sh
$SPARK_HOME/sbin/start-all.sh

另说其他的注意点
一定要找到互相依赖的框架,比如本小女孩使用的是hadoop2.3.1+spark-2.3.1-bin-hadoop2.6+scala-2.11.7+jdk1.8.0_111。各个框架的版本一定要兼容。
附上搭建好的页面
hadoop+scala+spark搭建的血泪教训_第1张图片
hadoop+scala+spark搭建的血泪教训_第2张图片
hadoop+scala+spark搭建的血泪教训_第3张图片

你可能感兴趣的:(错误的问题解决,linux操作系统,集群搭建)