Spark环境搭建与安装

1.在私有云上创建三个虚拟机

2. 在Secure CRT上登录并且连接三个虚拟机

3.连接并且登录master虚拟机，在master上通过yum -y install vim命令安装vim编辑器

4.通过命令vi/etc/resolv.conf修改/etc/resolv.conf文件进入，添加2个域名服务器 地址，并添加虚拟机ip和主机命映射，在存盘退出，slave1丶2同理

 5.关闭和禁用防火墙，slave1和slave2一样

 6.在master上关闭Selinux安全机制

 7.在master，slave1  slave2上安装lrzsz传输工具，命令 yum -y install lrzsz

8.在master和其他2台虚拟机上面安装JDK

 9.输入命令tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local，解压JDK 

 执行ls /usr/local，查看解压完成后的JDK

 10.输入vim /etc/profile进入文件配置环境变量，然后存盘退出输入source/etc/profile让配置文件生效

 JAVA_HOME=/usr/local/jdk1.8.0_231
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH CLASSPATH

11.查看JDK的版本

 12.配置完全Hadoop，vim core-site.xml，vim hdfs-site.xml ,vim mared-site.xml ,vim yarn-site.xml完成后存盘并且退出

 

13.编辑slave文件 执行vim slaves，存盘并退出

 

14.启动hdfs服务，执行jps命令查看进程

 

查看slave1和2的进程只有namemanger，datanode 

 

15.查看Hadoop的web ui界面

不能通过master加端口50070端口的方法，因为没有在hosts文件里IP和主机名映射，需要在hosts中添加后即可