spark standalone模式安装配置

1.安装好jdk,版本最好1.6+,本人安装的是1.7,配置好环境变量JAVA_HOME。

2.安装好scala,scala版本最好选择2.10.4,配置好环境变量SCALA_HOME。本人没有安装scala,但是spark一样能运行,应该是spark本身自带scala。强烈建议自己安装scala。

3.安装好hadoop,配置好环境变量HADOOP_HOME。

4.复制修改slaves文件,配置哪些节点是worker节点。

5.复制修改spark-defaults.conf,配置spark.master spark://hadoop2:7077。(实际启动时,在哪台节点上启动的,那么哪台节点就会启动master,此属性可以不配置。)

6.在master节点启动spark集群,./start-all.sh,同时启动spark shell,./spark-shell。在spark shell中即可使用sparkContext进行数据的处理。

7.使用http://master:8080进入web监控页面。

官网的standalone 模式安装配置阅读很简单,直接参考官网的。

Spark Standalone Mode

你可能感兴趣的:(spark standalone模式安装配置)