mac配置hadoop完全分布式系统

1、安装vmware

2、装虚拟机 这里装的的centos7

3、装好虚拟机之后进行克隆

3.1修改主机名

克隆完之后首先修改主机名 使用命令vim /etc/hostname,然后直接按i进入插入模式，输入你想要的主机名，之后按esc返回命令模式，输入：wq，之后输入reboot重启虚拟机，输入hostname即可查看主机名。

3.2为虚拟机配置静态ip

1、通过nat.conf查看mac本地网关和子网掩码，在mac终端使用命令查看mac本地网关和子网掩码，我的本地网关为172.16.201.2，子网掩码为255.255.255.0

more /Library/Preferences/VMware\ Fusion/vmnet8/nat.conf

2、通过dhcpd.conf文件，查看range区间，我本地是172.16.201.128 ～ 172.16.201.254,表示虚拟机静态ip可选范围

more /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf

3、本地DNS获取，系统偏好设置 ---> 网络 ---> 高级 ---> DNS

4、配置linux虚拟机网络配置，使用命令

vim /etc/sysconfig/network-scripts/ifcfg-ens33

将文件修改为图片所示：

IPADDR=172.16.201.131 GATEWAY=172.16.201.2 NETMASK=255.255.255.0 DNS1=202.114.0.131 DNS2=8.8.8.8

1. 其中IPADDR不可超过可选范围（第二步已列出）

2. GATEWAY和NETWORK在第一步已列出

3. DNS可以设置两个，一个在第三步已列出，另一个就照图片上设置就行

3.3修改主机映射

vim \etc\hosts。 将虚拟机的IP地址与其相应的主机名对应起来。

3.4全部设置好之后，重启linux虚拟机网络服务

systemctl restart network

ping www.baidu.com看看是否可以连通，然后ping 主机名看是否连通

4、下载jdk和hadoop

首先把jdk和hadoop的压缩包下载到自己电脑上，然后上传到虚拟机里面。

1. 首先在root目录文件夹的上一层目录，也就是有home文件夹的那个文件夹，找到usr文件夹，在里面新建一个java文件夹，把jdk和Hadoop的压缩包都传到里面，之后进行解压缩。 tar -zxvf 压缩包的名字

2. 之后要配置环境变量，具体操作可以看【CentOS7下安装Hadoop伪分布式教程】 CentOS7下安装Hadoop伪分布式教程_哔哩哔哩_bilibili

5、设置SSH无密码登录节点

1. ssh-keygen -t rsa 连按三次回车

2. ssh-copy-id hadoop100（这里是你的主机名，你有几个节点，就按照这个格式执行几次）

3. 所有节点都执行一下上面两步操作

4. 验证是否能够无密登陆 ssh hadoop101

6、配置jdk和Hadoop的环境变量

1. vim /etc/profile在这个文件最后加上

   #jdk export JAVA_HOME=/opt/module/jdk（这个根据你装的jdk所在位置确定） export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

   #hadoop export HADOOP_HOME=/opt/module/hadoop（这个根据你装的Hadoop所在位置确定） export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

7、hadoop重要文件配置

集群部署规划

8、hadoop与jdk的版本对应

hadoop-3.1.3 JDK 1.8

hadoop-2.10.2JDK 1.7 or 1.8

hadoop-2.9.2 JDK 1.7 or 1.8

hadoop-2.8.2 JDK 1.7+

hadoop-2.7.1 JDK 1.7+ 要选择对应的版本 血的教训啊

9、Web 端查看 HDFS 的 NameNode

如果想要在自己电脑上查看而不是虚拟机上，就需要使用ip地址+9870（即相应的端口号）

10、hadoop配置文件

1. 首先cd进hadoop软件下的etc文件中的hadoop文件

   

2. vim hadoop-env.sh 在最后一行加入export JAVA_HOME=/opt/module/jdk

3. vim hdfs-site.xml

4. vim core-site.xml

5. vim yarn-site.xml

6. vim mapped-site.xml

11、rsync 远程同步工具

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

12、关于本机不能打开web页面

如果上面检查都没有问题，自己还是无法打开web端界面，试一下在浏览器输入对应的

ip：post （如192.168.248.102:9870）,如果可以打开web界面，则可能是因为你电脑上打开了外网的节点，把相应的工具退出去，重新打开web界面应该就可以。

———————————————— 版权声明：本文为CSDN博主「JeffchenITM」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：hadoop的9870端口不能访问WEB界面的解决办法汇总_JeffchenITM的博客-CSDN博客_hadoop9870打不开

13、尚硅谷视频P31 运行wordcount后 web页面有wcouput但是里面没有数据

搜索后发现是虚拟内存超过限制

yarn.nodemanager.vmem-check-enabled false

14、xsync脚本和jpsall脚本所在位置

首先使用echo $PATH可以查看全局路径；

两个脚本位于 /root/bin

jpsall直接粘贴会出现bash: jps: command not found，此时可以将脚本中jps命令修改为绝对路径/opt/module/jdk/bin/jps

15、hadoop一些常识