Hadoop-3.3.6完全分布式集群安装

Step1：需要准备至少三台配置好的虚拟机（core-site、hdfs-site、mapred-site和yarn-site文件），可以选择克隆已完成配置的伪分布安装的虚拟机 IP地址 主机名 192.168.10.101 master 192.128.10.102 worker1 192.168.10.103 worker2 Step2：在克隆的虚拟机内输入命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33并修改ip 如果不修改ip后期免密登录会出现ssh: connect to host master port 22: Connection refused报错 Step3：继续在本虚拟机内输入：vim /etc/hostname 要记住自己修改后的主机名 Step4：重启虚拟机（reboot） Step5：分别输入：systemctl stop firewalld（暂时关闭防火墙）和systemctl disable firewalld（永久关闭防火墙）。 Step6：配置免密登录后修改core-site和yarn-site里面用户名 Step7：在每台虚拟机上输入：vi /etc/hosts 写入三个虚拟机的的ip地址和主机名 192.168.10.101 master 192.168.10.102 worker1 192.168.10.103 worker3 Step8：分发jdk，在master主机上输入cd /opt（打开解压后的jdk所在文件夹） 分别输入 scp -r jdk1.8.0_211 root@worker1:$PWD scp -r jdk1.8.0_211 root@worker2:$PWD Step9：分发hadoop，在master上输入cd /usr（hadoop解压后所在的文件夹） scp -r hadoop-3.3.6 root@worker1:$PWD scp -r hadoop-3.3.6 root@worker2:$PWD Step10：分发/etc/hosts和etc/profile在master主机上输入： scp /etc/hosts root@worker1:/etc/ scp /etc/hosts root@worker2:/etc/ scp /etc/profile root@worker1:/etc/ scp /etc/profile root@worker2:/etc/ Step11：在worker1和worker2上执行source /etc/profile语句 Step12：在master上格式化namenode：hdfs namenode -format Step13：在三台主机上分别执行： start-all.sh jps 运行结果如图 Step14：打开浏览器查看结果