公告：
- 技术盛宴SD2.0大会隆重开幕,现场图文直播，敬请关注！
[意见反馈] [官方博客]
- 技术盛宴SD2.0大会隆重开幕,现场图文直播，敬请关注！
在SuSE集群上安装配置HDFS 收藏
1 、环境准备
需要环境：
PC-1 Suse Linux 9 10.192.1.1
PC-2 Suse Linux 9 10.192.1.2
PC-3 Suse Linux 9 10.192.1.3
PC-4 Suse Linux 9 10.192.1.4
其中， PC-1 做 namenode 节点， PC-2 、 PC-3 和 PC-4 做 datanode 节点。
2 、安装包准备
需要安装包：
jdk-6u16-linux-i586-rpm.bin
hadoop-0.20.1.tar.gz （ stable 版本）
3 、安装步骤
3.1 操作系统配置
（ 1 ）新建用户。在 HDFS 文件系统中的每个节点（包括 namenode 节点和 datanode 节点）上，新建 hdfs 用户，并保证 hdfs 用户的当前目录一致。
（ 2 ） HDFS 中的节点配置
在 root 用户中输入命令 yast ，使用 yast 工具。 Network Devices — >Network Card
— >Already configured devices — >Change — >Edit — >Host name and name server 。
1 ， namenode 节点。 hostname 修改为“ namenode ”， domian name 修改为“ hdfs ”；
2 ， datanode 节点。 hostname 修改为“ datanodeXXX ”， domian name 修改为“ hdfs ”，其中“ XXX ”最好为该节点 IP 地址中的第四个数字。
（ 3 ） HDFS 中的节点添加通讯对方主机名
1 ， namenode 节点。在 /etc/hosts/ 文件中添加所有 datanode 节点的 IP/Hostname 对，如
10.129.126.205 datanode205.hdfs datanode205
2 ， datanode 节点。在所有 datanode 节点中的 /etc/hosts/ 文件中添加所有 namenode 节点的 IP/Hostname 对，如 10.129.126.203 namenode.hdfs namenode
（ 4 ） Windows 访问端配置
a) 参照 namenode 节点中的 hosts 文件的配置，在 windows 的 hosts 文件中添加 namenode 节点和 datanoe 节点的 IP/Hostname 对。
b) 在 IE 浏览器不使用代理列表中，添加“ *.hdfs ”。
3.2 安装 JDK
Hadoop 是基于 JDK1.6 编写的，为了运行 HDFS 文件系统，同时也为了后续的开发，需要安装 JDK1.6 。
（ 1 ）切换到 root 用户，并将安装包拷贝至 /usr/local/ 目录， chmod 755 使 root 用户获得执行安装包的权限。
（ 2 ）执行 sh jdk-6u16-linux-i586-rpm.bin 开始安装，接下来出现安装协议阅读界面。按“ q ”退出阅读，接着输入“ y ”表示统一安装协议，开始安装直到结束。
（ 3 ）配置 JAVA 环境在 /etc/profile 文件尾添加三项 ：
export JAVA_HOME=/usr/java/jdk1.6.0_16
export CLASSPATH=/usr/java/jdk1.6.0_16/lib:/usr/java/jdk1.6.0_16/jre/lib:$CLASSPATH
export PATH=/usr/java/jdk1.6.0_16/bin:/usr/java/jdk1.6.0_16/jre/bin:$PATH
在 root 用户中， chmod 755 /etc/profile ，使普通用户获得对该文件的执行权限。在 hdfs 的登录会话中，执行“ . /etc/profile ”（ “ . ”与“ / ”之间有空格）使修改生效，使用 echo 命令确认这三项设置是否成功。
3.3 配置 SSH 服务
在 namenode 节点，使用 ssh 工具生成公钥 / 私钥对，并把公钥分发给 datanode 节点，可以实现 datanode 对来自 namenode 节点网络通讯请求的认证。
首先，在 namenode 节点生成公钥 / 私钥对 ：
（ 1 ）在 /home/hdfs/ 目录下新建“ .ssh ”目录。
（ 2 ）使用 DSA 算法生成公钥 / 私钥对。
$ssh-keygen -t dsa –P ’’
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hdfs/.ssh/id_rsa): 按回车
Enter passphrase (empty for no passphrase): 输入 hdfs 登录密码
Enter same passphrase again: 再次输入 hdfs 登录密码
Your identification has been saved in /home/hdfs/.ssh/id_rsa.
Your public key has been saved in /home/hdfs/.ssh/id_rsa.pub.
The key fingerprint is:
9a :4f:a0:82:1d:f9:e3:31:17:46:b2:25:15:1a:52:56 hdfs@namenode
注：其中 id_dsa 存放了产生的私钥， id_dsa.pub 存放了公钥。
接着，分发 namenode 节点的公钥
将 namenode 节点 id_rsa.pub 文件中的内容复制到所有节点的 /home/h/.ssh/authorized_keys 文件中。
（ 1 ） namenode 节点。
1 ， authorized_keys 不存在。执行命令 cp id_rsa.pub authorized_keys 。
1 ， authorized_keys 存在。执行命令 cat id_rsa.pub >> authorized_keys 。
（ 2 ） datanode 节点。
在 namenode 节点中，对每一台 datanode 节点，执行命令 scp id_dsa.pub datanode205:/home/hdfs/.ssh/ 。在 datanode 节点，仿照 namenode 节点的处理方法，将 namenode 节点的公钥拷贝到 authorized_keys 文件中。
（ 3 ） ssh 验证。
在 namenode 节点执行 ssh datanode205. ，如果能不输入密码能登录到 datanode205 ，则说明安装成功。
3.4 安装 Hadoop
在 namenode 节点 中，将 hadoop-0.20.1.tar.gz ，解压到 /home/hdfs/ 目录下即可。
4 、配置说明
4.1 namenode 节点配置
在 namenode 节点的 conf 目录下。
（ 1 ） core-site.xml 文件配置。
配置临时文件夹目录。
配置 HDFS 文件系统外部访问地址，即 namenode 节点 IP 以及访问端口号。
（ 2 ） hdfs-site.xml 文件配置。
配置上传文件备份的份数，不能超过 datanode 节点个数，默认为 3 个。
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
（ 3 ） masters 文件配置。
添加 namenode 节点在主机名“ namenode ”。
（ 4 ） slaves 文件配置。
添加所有 datanode 节点的主机名，每行配置一个。
datanode203
datanode204
datanode205
4.2 datanode 节点配置
在 namenode 节点，执行命令 scp -r hadoop-0.20.1/ datanode205:/home/hdfs/ ，将 namenode 节点的安装文件复制到每一个 datanode 节点。
