hadoop2.6.5配置HDFS并运行

1.先来看一下定义的节点功能

2.设置namenode登录datanode的免密登录

在namenode执行:

$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.在所有的datanode节点都执行：

$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4.把namenode节点的公钥id_dsa.pub重定向追加到所有datanode的 ~/.ssh/authorized_keys文件中

cat ~/.ssh/id_dsa.pub >> ssh root@node2: ~/.ssh/authorized_keys

5.验证免密登录是否成功：

在namenode上执行命令：ssh root@node2，能够不用密码连接上就说明免密设置成功了

6.配置core-site.xml文件

vi /hadoop/etc/hadoop/core-site.xml

<configuration>
    <property>
        
        <name>fs.defaultFSname>
        <value>hdfs://node1:9000value>
    property>

    <property>
        
        <name>hadoop.tmp.dirname>
        <value>/var/hadoop-2.6/fullyvalue>
    property>

configuration>

7.配置hdfs-site.xml文件

vi /hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
    
        <name>dfs.replicationname>
        <value>3value>
    property>
    <property>
        
        <name>dfs.namenode.secondary.http-addressname>
    <value>node2:50090value>
    property>
configuration>

8.配置datanode的节点列表

[root@node1 hadoop]# vi slaves 

node2
node3
node4

9.启动hadoop的hdfs

执行命令：

$ bin/hdfs namenode -format
$ sbin/start-dfs.sh

10.浏览器打开HDFS验证启动是否正确

打开浏览器输入网址：http://node1:50070/

页面能正常打开，并且Live Nodes显示数量是3，则正常启动HDFS