hadoop-hdfs-全分布式环境搭建与问题解决

hadoop-hdfs-全分布式环境搭建

注：在伪分布式基础上进行搭建
namenode，datanode，secondary namenode规划启动位置如图：

1. 安装jdk
2. 配置免密钥
3. 统一时间
   永久修改时间：
   hwclock --show 查看硬件的时间
   hwclock --set --date ‘2018-12-21 10:25:00’ 设置硬件时间
   hwclock --hctosys 设置系统时间和硬件时间同步
   clock -w 保存时钟
4. 配置
   （1） 修改hadoop目录下的core-site.xml,如图：
   
   将该目录修改为一个新的没有文件的目录，规划在node01启动namenode。
   （2） 修改hadoop目录下的slaves，如图;
   
   添加要启动的datanode名称，在node02，node03，node04启动datanode。
   （3） 修改hadoop目录下的hdfs-site.xml
   
   规划在node02启动SNN，副本个数修改为2，因为此处有三个节点。
5. 拷贝到其他虚拟机
   到sxt目录，将当前目录下的hadoop-2.6.5拷贝到对应虚拟机的当前目录下，

scp -r ./hadoop-2.6.5/ node02:`pwd` 

同样依次拷贝给node03，node04.
6. 格式化namenode（在node01）
hdfs namenode –format
7. 启动
start-dfs.sh
8. 关闭
stop-dfs.sh
9. 页面访问（一个为active状态，一个为standby状态）
node01:50070
node02:50070

遇到的问题，没有SNN进程，错误原因：vi /etc/hosts文件配置错误，配置如图：
将对应的虚拟机IP地址和名称写上，每台虚拟机都需要配置。

恭喜你大功告成了，到此为止全分布式就配置完成了！！！