Linux下安装Hadoop(完全分布模式)

    本文需要参考我已有的《Linux下安装Hadoop(伪分布模式)》

JDK每台机器都要配的。

1. 准备, 3台机器，主机名: master, slave1, slave2, ip地址: 192.168.10.11, 192.168.10.12, 192.168.10.13
配置 /etc/sysconfig/network 修改主机名
修改 /etc/sysconfig/network-scripts/ifcfg-eth0, 配置ip

主机master作为hadoop分布式文件系统HDFS的namenode节点和MapReduce运行过程中的Job Tracker结点，称之为主结点
其它两台机器 (slave1, slave2)作为HDFS的Data Node以及MapReduce运行过程中的Task Tracker结点，称为从结点

2. 配置 hosts
vi /etc/hosts
192.168.10.11 master
192.168.10.12 slave1
192.168.10.13 slave2

3. 创建 hadoop 用户和 hadoop 组
groupadd hadoop
useradd -g hadoop hadoop
passwd hadoop

4. 设置master到任意节点的无密码登录
ssh-keygen
cd .ssh/
mv id_rsa.pub id_rsa_hadoop.pub
touch authorized_keys
cat id_rsa_hadoop.pub >> authorized_keys
ssh master

在slave1和slave2主机上, 依次操作cat id_rsa_master.pub >> authorized_keys, 验证从master登录是否需要输入密码, 不输入密码是正确的
ssh slave1
ssh slave2

提示: 注意权限
authorized_keys 必须是 644
chmod 644 authorized_keys
.ssh 必须是 700
chmod 700 .ssh

5. 下载 hadoop

6. 解压
tar -zxvf hadoop-1.0.3.tar.gz
mv hadoop-1.0.3 /usr/local/hadoop

7. 修改 /etc/profile -- 1.0 版以后好像不需要了
vi /etc/profile

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

8. 配置 hadoop
配置 conf/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk-1.6
export HADOOP_HEAPSIZE=2000

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

配置 core-site.xml
配置 hdfs-site.xml
配置 mapred-site.xml
配置 masters
配置 slaves
9. 安装其他节点

将 hadoop 目录拷贝到其他节点对应目录
scp -r hadoop slave1:/usr/local
scp -r hadoop slave2:/usr/local

修改节点的 /etc/profile -- 1.0 版以后好像不需要了