bigdata-完全分布式环境搭建

hadoop完全分布式的安装

 1.环境准备

- jdk_1.7.0_79

- hadoop-2.5.1

- master和slave两个节点并配置好hosts文件和hostname

---

2.安装jdk

---

3.配置环境变量

在(.bash_profile)中配置java和hadoop的环境变量

4.配置ssh（重点）

master：

（1）ssh-keygen -t rsa -P ''

（2）scp .ssh/id_rsa.pub [email protected]:~    （ip地址为slave节点的ip）

slave：

（1）cat id_rsa.pub >> .ssh/authorized_keys

---

5.修改core-site.xml

      fs.defaultFS

      hdfs://masteviVIr:9000

       hadoop.tmp.dir

       /opt/hadoop-2.5.1

---

6.修改hdfs-site

dfs.namenode.secondary.http-address

slave:50090

dfs.namenode.secondary.https-address

slave:50091

---

7.配置masters和slaves

在 (/opt/software/hadoop-2.5.1/etc/hadoop) 目录下创建masters和slaves文件，并在masters中写入master，在slaves文件中写入master，slave（或者只写slave，这个是配置datanode的个数）

masters：

slaves：

---

8.将master 节点中的hadoop文件拷贝到slave节点中

---

9.格式化

hdfs namenode -format  

注意：

1.在启动hdfs之前需要先格式化，如果启动失败需要再次格式化

2.格式化之前需要删除生成的配置文件（在core-site.xml配置的那个）

---

10.启动 start-dfs.sh

---

11. 测试

http://master:50070（master为master节点的IP地址）

出现如上图所示结果，则配置成功