大数据第4周
0.检查联网
每次打开虚拟机都无法联网,都忘了打开服务这一步
1.用户名相同
要求三个虚拟机的用户名相同,否者相互访问时需要使用用户名,这样集群会有问题。
如要新增用户,先转换为root用户su root,然后执行以下操作:
添加新用户:useradd 用户名
设置用户密码:passwd 用户名
添加新用户到wheel用户组(获得sudo权限):usermod -a –G wheel 用户名
如果要删除用户:userdel 用户名、
2.关闭防火墙
检查防火墙状态:sudo systemctl status firewalld.service
关闭防火墙:sudo systemctl stop firewalld.service
Disable防火墙:sudo systemctl disable firewalld.service
如果不执行Disable防火墙,下次启动时,防火墙还会启动。
重启三个节点,重启后,分别用sudo systemctl status firewalld.service命令检查所有节点的防火墙状态,要求看到inactive(dead)提示。
3.ssh免密登录设置
先ssh 要登录的虚拟机,然后exit。
进入目录:cd .ssh/
产生密码:ssh-keygen -t rsa
传送公钥:ssh-copy-id 要登陆的虚拟机名
验证:ssh 要登陆的虚拟机名
如果不需要密码就说明成功了。
我们有三个节点,所以每个虚机需要3个免密登录。
我们有三个节点,要传三个公钥,包括自己。
**如果在物理机集群上安装,需要安装时钟同步工具,保证每个节点的时钟相同。在虚拟机上安装不需要。**
4.java安装
首先核实当前java版本。如果当前已经有java了,核实版本号java -version,如果可用,不用另外安装,如果不可用,不能直接替换此版本,因为有可能造成系统故障。
只是本账户使用使用我们的java版本。
建议不要用右键解压,使用命令解压,命令:tar –zxvf 文件名。
配置环境,编辑本用户名下的.bash_profile文件,添加JAVA_HOME变量,并把变量下的bin添加到系统PATH变量中。
新增加的:
export JAVA_HOME=/home/user1/jdk1.8
export PATH=$JAVA_HOME/bin/:$PATH
其他节点,首先将文件拷贝过去:例如:
scp -r jdk1.8 slave0:~
scp -r jdk1.8 slave1:~
然后编辑.bash_profile文件。重启后,核实版本号java –version,我们新安装的版本是1.8:
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)
三个节点都需要配置jdk。
5.配置hadoop
使用命令解压hadoop文件。
配置.bash_profile中有关hadoop的环境变量:
vi .bash_profile,不要删除原有内容,在文件尾部添加如下内容:
export HADOOP_HOME=/home/caiyishuai/hadoop-2.7
export PATH=$HADOOP_HOME/bin/:$PATH
export PATH=$HADOOP_HOME/sbin/:$PATH