阿里云Spark安装教程_完全分布式_Spark-2.2.0_CentOS7.4

一、环境

本教程中使用两台阿里云服务器，其配置为单核CPU，2G内存，操作系统为CentOS7.4。默认已经安装了JDK1.8及Hadoop2.7.4。安装方法请查看阿里云安装hadoop教程_完全分布式_Hadoop2.7.4_Centos7.4。

使用scala-2.11.8及spark-2.2.0。主节点命名为master，从节点命名为node1。

 

二、安装scala

解压文件到指定目录

配置环境变量

使配置的环境变量生效

使用scala –version测试安装是否成功

 

三、安装Spark

解压文件到指定目录

配置环境变量

使配置的环境变量生效

使用pyspark测试安装是否成功,如果进入到shell中则安装成功

 

四、配置spark

         切换目录

         拷贝一份spark-env.sh.template并命名为spark-env.sh

编辑spark-env.sh

拷贝一份slaves.template并命名为slaves

编辑slaves

注：将上述的spark-env.sh及slaves文件拷贝一份到node1对应的目录下

 

五、启动进程

进入sbin目录并执行start-all.sh

使用jps查看结果，如果包含了Master进程和Worker进程，那么说明进程启动成功。