hadoop一主一从部署（1）

原文链接： http://www.cnblogs.com/starstrrys/p/10941934.html

一、安装前说明

主机IP：192.168.132.128

从机IP：192.168.132.129

1. 所有的安装包我放在了/root/这个目录下，你要根据自己情况去修改，这点必须注意

2. 采用的安装包如下

jdk-7u79-linux-x64.tar.gz，hadoop-2.8.0.tar.gz

3. 采用的Linux系统是centos7.0

4. 文中命令如果没有强调，默认在两台机子上都执行相同的命令

二、安装步骤

1 配置免密登录
执行命令ssh-keygen
一直按回车键即可。
主机执行命令ssh-copy-id [email protected]
从机执行命令ssh-copy-id [email protected]
按照要求输入yes,和密码

2 验证免密登录
主机执行命令 ssh 192.168.132.129
正常情况是不需要输入密码就可以登录，验证成功之后执行exit命令退出远程登录。
同样的操作在从机执行一遍，从机执行命令 ssh 192.168.132.128。

3 在/etc/hosts这个文件下加入如下两行：

192.168.132.128 master
192.168.132.129 slaver

4 解压jdk和Hadoop，并将其添加到环境变量

tar zxvf jdk-7u79-linux-x64.tar.gz
tar zxvf hadoop-2.8.0.tar.gz

在/etc/profile下写入如下代码(我的路径放在/root/下，你要改成自己的路径)：

export JAVA_HOME=/root/jdk1.7.0_79
export HADOOP_HOME=/root/hadoop-2.8.0
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行命令 source /etc/profile使环境变量生效

5 创建必要的目录用来存放数据和一些临时文件(这些目录会在配置文件中用到)

mkdir tmp dfs
mkdir dfs/data dfs/name

6 对Hadoop的配置文件进行修改
执行命令cd /root/hadoop-2.8.0/etc/hadoop/
将hadoop-env.sh，yarn-env.sh，mapred-env.sh文件中的JAVA_HOME的值改成
/root/jdk1.7.0_79
觉得手动修改麻烦的也可以采用如下三个命令：

sed -i '/^export JAVA_HOME=${JAVA_HOME}/ s/JAVA_HOME=${JAVA_HOME}/JAVA_HOME=\/root\/jdk1.7.0_79/g' hadoop-env.sh
sed -i '/^#.*export JAVA_HOME=.*/ s/^.*$/export JAVA_HOME=\/root\/jdk1.7.0_79/g' yarn-env.sh
sed -i '/^#.*export JAVA_HOME=.*/ s/^.*$/export JAVA_HOME=\/root\/jdk1.7.0_79/g' mapred-env.sh

7 对Hadoop的core-site.xml这个配置文件进行修改，执行命令
sed -i '/<.*configuration>/d' core-site.xml
上述命令是将原先的配置文件进行清理，然后执行如下命令写入新的配置文件（这个配置文件主机从机没区别，全部用主机的IP）:

cat >> core-site.xml << EOF

    
        fs.defaultFS
        hdfs://master:9000
    
    
        hadoop.tmp.dir
        file:/root/tmp
    
    
        io.file.buffer.size
        131702
    

EOF

8 对Hadoop的配置文件hdfs-site.xml,(这里主机和从机的配置文件略有区别)执行命令：
sed -i '/<.*configuration>/d' hdfs-site.xml
上述命令是将原先的配置文件进行清理，然后在从机上!!(如果是主机，需要把下面配置文件中的slaver改成master，因为这个配置文件主机和从机略有区别，这个配置文件主机和从机用自己的IP，)执行如下命令写入新的配置文件:

cat >> hdfs-site.xml << EOF

    
        dfs.namenode.name.dir
        file:/root/dfs/name
    
    
        dfs.datanode.data.dir
        file:/root/dfs/data
    
    
        dfs.replication
        2
    
    
        dfs.namenode.secondary.http-address
        slaver:9001
    
    
    dfs.webhdfs.enabled
    true
    

EOF

9 对Hadoop的配置文件mapred-site.xml进行修改
执行命令mv mapred-site.xml.template mapred-site.xml
执行命令sed -i '/<.*configuration>/d' mapred-site.xml
在从机上执行如下一大段命令（如果是主机，把slaver改成master，因为这个配置文件主机从机有区别，这个配置文件用自己的IP）：

cat >> mapred-site.xml << EOF

    
        mapreduce.framework.name
        yarn
    
    
        mapreduce.jobhistory.address
        slaver:10020
    
    
        mapreduce.jobhistory.webapp.address
        slaver:19888
    

EOF

10 对Hadoop配置文件yarn-site.xml进行修改
执行命令：sed -i '/<.*configuration>/d' yarn-site.xml
执行如下一大段命令(这个配置文件主机从机没区别，都用主机的)：

cat >> yarn-site.xml << EOF

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.auxservices.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    
    
        yarn.resourcemanager.address
        master:8032
    
    
        yarn.resourcemanager.scheduler.address
        master:8030
    
    
        yarn.resourcemanager.resource-tracker.address
        master:8031
    
    
        yarn.resourcemanager.admin.address
        master:8033
    
    
        yarn.resourcemanager.webapp.address
        master:8088
    
    
        yarn.nodemanager.resource.memory-mb
        4096
    

EOF

11 对Hadoop配置文件slavers进行修改
将里面的localhost删除
写入 slaver

至此，Hadoop搭建初步完成，下一篇博文会简单介绍Hadoop初始化以及简单的使用。本代码已经过多次测试，如果出现问题

1. 检查绝对路径
2. 检查是否疏漏一些命令

转载于:https://www.cnblogs.com/starstrrys/p/10941934.html