hadoop配置手册
环境：
Hadoop-1 ： 10.10.30.1 （ namehost ： ip ）
Hadoop-2: 10.10.30.2 （ namehost ： ip ）
部署步骤（ JDK 安装不在描述）
1， 在每一台服务器上添加 hosts 记录
a) Vi /etc/resole.conf
i. Hadoop-1 10.10.30.1
ii. Hadoop-2 10.10.30.2
2， 在 hadoop-1 上 ping hadoop-2 ， ping 通正常
3， 在 hadoop-2 上 ping hadoop-1 ， ping 通正常
4， 在每一台机器上分别创建 hadoop 用户（次用户名可自定义）
a) Useradd hadoop
5， 设置 ssh 免密码登陆
Set 1 Hadoop-1
a) [[email protected]~]mkdir .ssh
b) [[email protected]~]ssh-keygen –t rsa
c) [[email protected]~]cd .ssh
d) [[email protected]~]cp id_rsa.pub authrized_keys
e) Authrized_keys scp 到其他所有的 hadoop 机器上
f) Scp authrized_keys hadoop-2:/home/ 需要输入 hadoop 用户名和密码
Set2 hadoop-2
a)[[email protected]~]mkdir .ssh
b)[[email protected]~]cp authrized_keys .ssh
c)[[email protected]~]chmod 755 .ssh
d)[[email protected]~]chmod 644 .ssh/ authrized_keys
这一步非常关键，必须保证 authorized_keys 只对其所有者有读写权限，其他人不允许有写的权限，否则 SSH 是不会工作的。
g) 测试是否可无密码登陆
6， Hadoop 安装
a) mkdir /home/hadoop/hadoop/tmp
b) mkdir /home/hadoop/hadoop/data
c) mkdir /home/hadoop/hadoop/name
d) 将 hadoop 包解压的对应的目录
i. Conf 为 hadoop 所有配置文件的存放位置
ii. vi hadoop/conf/core-site.xml
1.
2.
3.
4.
iii. vi hadoop/conf/hadoop-env.sh
1. 9 行 export JAVA_HOME=/tools/java 修改对应的 java 目录
iv. vi hadoop/conf/hdfs-site.xml
1.
2.
6.
7.
8.
9.
10.
11.
12.
13.
14.
a) 修改想对应 name 和 data 的存放位置，其他不需要修改
v. Vi hadoop/conf/master 直接添加 hadoop master 的主机名
vi. Vi hadoop/conf/slave 直接添加 hadoop slave 的所有主机名（每个主机一行）
vii. Vi hadoop/conf/mapred-site.xml
1.
2.
3.
4.
5.
6.
a) 修改 mapred 的工作 ip ： port
7， 进入 hadoop 的 bin 目录 , sbin/start-dfs.sh 启动
8， 使用 jps 命令查看正常与否
i. [[email protected] conf]# jps master 的 jps 输出
5365 NameNode
5557 SecondaryNameNode
5649 JobTracker
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
- —软件人才免语言低担保 赴美带薪读研！—