大数据学习-Hadoop生态章---HDFS完全分布式(1.X版本)搭建及eclipse插件集成

完全分布式搭建(1.x版)

一.环境的准备（详情参考Linux章）

1. Linux 环境
2. JDK
3. 准备至少3台机器（通过克隆虚拟机；配置好网络JDK 时间 hosts，保证节点间能互ping通）
4. 时间同步 (ntpdate time.nist.gov)
5. ssh免秘钥登录 (两两互通免秘钥)
6. 

二.完全分布式搭建

1. 下载解压缩Hadoop
   
   

2. 配置etc/hadoop/hadoop-env.sh
   
   

3. 配置core-site.xml:
   fs.defaultFS 默认的服务端口NameNode URI
   hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。
   如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这个路径中

   
   	
           fs.defaultFS
           hdfs://node01:9000
   	
   	
           hadoop.tmp.dir
           /opt/hadoop-2.6.5
   	
   
   

4. 配置 hdfs-site.xml:
   dfs.datanode.https.address https服务的端口

   
    	
        	 dfs.replication
         	 1
   	
   	
           dfs.namenode.secondary.http-address
           node02:50090
   	
   	
           dfs.namenode.secondary.https-address
           node02:50091
   	
   
   

   

5. 配置 masters: master 可以做主备的SNN
   在/home/hadoop-2.6.5/etc/hadoop/新建masters文件 写上SNN节点名： node02
   
   

6. 配置 slaves: slave 奴隶 苦干；拼命工作
   在/home/hadoop-2.5.1/etc/hadoop/slaves文件中填写DN 节点名：node2 node3 node4 [注意：每行写一个 写成3行]
   

7. 最后将配置好的Hadoop通过SCP命令发送都其他节点
   配置Hadoop的环境变量
   
   

8. vi ~/.bash_profile (最好手敲输入 粘贴有时候会出错)

   export HADOOP_HOME=/home/hadoop-2.6.5
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   
   
   

9. 记得一定要 source ~/.bash_profile

10. 回到跟目录下对NN进行格式化 hdfs namenode -format

hdfs namenode -format

11. 关闭防火墙：service iptables stop
12. 启动HDFS： start-dfs.sh启动HDFS： start-dfs.sh

启动HDFS： start-dfs.sh

13. 验证是否成功

• 在浏览器输入 node1:50070 出现以下界面成功
• 到datanode节点验证hadoop.tmp.dir目录
• 注意：HDFS集群有clusterID，datanode启动时会和namenode对比clusterID，如果相同，启动成功，如果不同，自杀进程

eclipse插件安装配置

将以下jar包放入eclipse的plugins文件夹中
hadoop-eclipse-plugin-2.6.0.jar
启动eclipse：出现界面如下：

新建Java项目：





Eclipse插件安装完后修改windows下的用户名，然后重启：
【注意：改成Windows下用户的用户名root（重启生效）或改Linux文件的用户】

或

记得配置 path