大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境

大数据第4周

 

0.检查联网

每次打开虚拟机都无法联网,都忘了打开服务这一步

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第1张图片

 

1.用户名相同

要求三个虚拟机的用户名相同,否者相互访问时需要使用用户名,这样集群会有问题。

如要新增用户,先转换为root用户su root,然后执行以下操作:

添加新用户:useradd   用户名

设置用户密码:passwd 用户名

添加新用户到wheel用户组(获得sudo权限):usermod -a –G wheel 用户名

如果要删除用户:userdel 用户名、

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第2张图片

 

2.关闭防火墙

检查防火墙状态:sudo systemctl status firewalld.service

关闭防火墙:sudo systemctl stop firewalld.service

Disable防火墙:sudo systemctl disable firewalld.service

如果不执行Disable防火墙,下次启动时,防火墙还会启动。

重启三个节点,重启后,分别用sudo systemctl status firewalld.service命令检查所有节点的防火墙状态,要求看到inactive(dead)提示。

 

3.ssh免密登录设置

先ssh 要登录的虚拟机,然后exit。

进入目录:cd .ssh/

产生密码:ssh-keygen -t rsa

传送公钥:ssh-copy-id 要登陆的虚拟机名

验证:ssh 要登陆的虚拟机名

如果不需要密码就说明成功了。

我们有三个节点,所以每个虚机需要3个免密登录。

我们有三个节点,要传三个公钥,包括自己。

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第3张图片​ 大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第4张图片大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第5张图片

**如果在物理机集群上安装,需要安装时钟同步工具,保证每个节点的时钟相同。在虚拟机上安装不需要。**

 

4.java安装

首先核实当前java版本。如果当前已经有java了,核实版本号java -version,如果可用,不用另外安装,如果不可用,不能直接替换此版本,因为有可能造成系统故障。

只是本账户使用使用我们的java版本。

建议不要用右键解压,使用命令解压,命令:tar –zxvf 文件名。

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第6张图片

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第7张图片

配置环境,编辑本用户名下的.bash_profile文件,添加JAVA_HOME变量,并把变量下的bin添加到系统PATH变量中。

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第8张图片

新增加的:

export JAVA_HOME=/home/user1/jdk1.8

export PATH=$JAVA_HOME/bin/:$PATH

其他节点,首先将文件拷贝过去:例如:

scp -r jdk1.8 slave0:~

scp -r jdk1.8 slave1:~

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第9张图片

然后编辑.bash_profile文件。重启后,核实版本号java –version,我们新安装的版本是1.8:

java version "1.8.0_241"

Java(TM) SE Runtime Environment (build 1.8.0_241-b07)

Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)

三个节点都需要配置jdk。

 

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第10张图片

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第11张图片

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第12张图片

 

5.配置hadoop

使用命令解压hadoop文件。

配置.bash_profile中有关hadoop的环境变量:

vi .bash_profile,不要删除原有内容,在文件尾部添加如下内容:

export HADOOP_HOME=/home/caiyishuai/hadoop-2.7

export PATH=$HADOOP_HOME/bin/:$PATH

export PATH=$HADOOP_HOME/sbin/:$PATH

大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境_第13张图片

你可能感兴趣的:(大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境)