搭建hadoop分布式文件管理系统(HDFS)

1.首先准备工作

(1).装载jdk1.7(网上一大把)

(2).将所有服务器时间同步为网络时间(参考:linux文件系统,目录管理,文件管理,日期时间,查看文本的常用命令 日期的那个命令)

(3).设置服务器间面密码登录(参考:linux服务器之间免密码远程登录)

(4).设置配置文件hosts中,主机名和ip的对应值(参考:centos6.5配置hosts方法以及作用)

2.现在有主机node1,node2,node3,node4,node5

选择node1为主节点,Namenode(masters)

选择node2为从节点,SecondaryNameNode(辅助节点)

其余为文件节点datanode(slaves)

3.将hadoop包传到每个服务器的usr下

hadoop-2.5.1_x64.tar.gz

4.解压hadoop包到本目录

tar -zxvf /usr/hadoop-2.5.1_x64.tar.gz 

5.配置hadoop的配置文件hadoop-env.sh

 vi /usr/hadoop-2.5.1/etc/hadoop/hadoop-env.sh

将其中的export JAVA_HOME=${JAVA_HOME}  改为自己jdk存放路径export JAVA_HOME=/usr/java/jdk1.7.0_79

6.配置hadoop的配置文件core-site.xml

vi /usr/hadoop-2.5.1/etc/hadoop/core-site.xml 

   
        fs.defaultFS
        hdfs://node1:9000配置namenode主机和数据上传下载的协议端口,rpc协议
    
   
        hadoop.tmp.dir
        /opt/hadoop-2.5指定文件保存路径
    

7.配置hadoop的配置文件hdfs-site.xml

 vi /usr/hadoop-2.5.1/etc/hadoop/hdfs-site.xml

    
        dfs.namenode.secondary.http-address配置辅助服务器的http和https的访问端口
        node2:50090
    

        dfs.namenode.secondary.https-address
        node2:50091
    

8.配置hadoop的配置文件slaves

 vi /usr/hadoop-2.5.1/etc/hadoop/slaves

node3
node4
node5

9.配置hadoop的配置文件masters

 vi /usr/hadoop-2.5.1/etc/hadoop/masters

node2

10.将配置好的配置文件拷贝到node2,node3,node4,node5

scp -r hadoop-2.5.1/ root@node2:/usr

11.配置hadoop的环境变量
 vi ~/.bash_profile

export HADOOP_HOME=/usr/hadoop-2.5.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

12拷贝环境变量

scp ~/.bash_profile root@node4:/root/

并且加载配置文件source  ~/.bash_profile

13启动前格式化namenode,只能在指定的主节点执行也就是只能在node1上执行

hdfs namenode -format

这个命令在我们配置的opt下执行初始化动作,初始以下文件

/opt/hadoop-2.5/dfs/name/current

fsimage_0000000000000000000  fsimage_0000000000000000000.md5  seen_txid  VERSION

14.启动hdfs

start-dfs.sh

Starting namenodes on [node1]
node1: starting namenode, logging to /usr/hadoop-2.5.1/logs/hadoop-root-namenode-node1.out  启动namenode
node3: starting datanode, logging to /usr/hadoop-2.5.1/logs/hadoop-root-datanode-node3.out  启动datanode
node5: starting datanode, logging to /usr/hadoop-2.5.1/logs/hadoop-root-datanode-node5.out
node4: starting datanode, logging to /usr/hadoop-2.5.1/logs/hadoop-root-datanode-node4.out
Starting secondary namenodes [node2]  启动secondarynode

node2: starting secondarynamenode, logging to /usr/hadoop-2.5.1/logs/hadoop-root-secondarynamenode-node2.out

15.验证是否搭建成功

访问node1的主节点监控页面

访问node2副节点监控页面