Hadoop网络配置以及集群搭建（一）

网络配置，虚拟机克隆（Centos7）
1.在/etc/hostname 修改主机名称
2.在/etc/sysconfig/network-scripts里面syscfg-ens33里面有相关的网络配置
3.ifconfig检查ip地址是否正确

1.scp 安全拷贝
可以实现服务器与服务器之间的数据拷贝
语法：
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
递归 文件路径/名称 目的用户@主机：目的路径/名称
在101上把opt/module的软件拷贝到102上
scp -r /opt/module root@hadoop102:/opt/module
在103上从101中拿取软件
sudo scp -r root@hadoop101/opt/module ./ #103的当前目录下
在103上从101中拿取软件给104
sudo scp -r root@hadoop101/opt/module root@hadoop104:/opt/module

2.rsync 远程同步工具 （只对差异的文件做更新） 用于备份和镜像。速度快，避免复制相同内容，支持符号链接
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 递归，显示复制过程，拷贝符号链接

3.xsync 集群的分发脚本
需求：循环复制文件到所有节点的相同目录下
#!/bin/bash
#1获取输入参数个数
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2获取文件名称
p1=$1
fname=basename $p1 #basename是拿到文件名
echo fname=$fname
#3获取上级目录到绝对路径
pdir=cd -P $(dirname $p1); pwd #dirname是获取绝对路径
echo pdir=KaTeX parse error: Expected 'EOF', got '#' at position 6: pdir #̲4后去当前用户名称 user=…host--------------
rsync -rvl $pdir/$fname $user@node$host:$pdir
done
4.集群配置

NameNode和SecondaryNode占用的内存几乎为1:1 所以不能放在同一个虚拟机上

在node2上面启动NameNode之后node4上面会有辅助NameNode
但需要在其他虚拟机上启动datanode（这是按照自己安排好的集群配置启动的，只能有一个namenode）
4.ssh无秘钥登录（在对应的虚拟机上会有相应的秘钥文件，可以进行查看）
在进行ssh无秘钥设置之后，可以随意切换虚拟机
可以直接访问都是访问authorized_keys这个文件,对自己的虚拟机也需要配置

在node2中有NameNode节点，所以需要有免密登陆。同样在node3中因为有resoursemanager这个节点所以他也需要配置免密登陆
=.ssh文件下的文件功能解释
known_hosts：记录ssh访问过得计算机的公钥
id_rsa：生成的私钥
id_rsa.pub：生成的公钥
authorized_keys：存放授权过得无秘登录服务器公钥==