Linux CentOS7安装Hadoop3.2

首先，参考安装博客为：Hadoop安装

不过，在安装的时候还是遇到了一些问题。

现在将完整过程描述如下：

1，下载Hadoop，官网：Hadoop官网下载

本人使用wget下载：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

2，下载完成后解压到目录（这里到/usr/hadoop3.2）。xxx.gz代表下载的压缩包

tar -zxvf xxx.gz -C /usr/hadoop3.2

3，配置环境变量

$ vi /etc/profile
 export HADOOP_HOME=/usr/hadoop
 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
:wq
$ source /etc/profile

4，修改hadoop的etc/hadoop目录下core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件。

core-site.xml

     fs.defaultFS
     hdfs://localhost/9000 //默认端口为：8020；


hdfs-site.xml

     dfs.replication //副本数
     1 //伪分布式一额节点

    
        dfs.namenode.name.dir
        file:/usr/hadoop3.2/dfs/name
    
  
        dfs.datanode.data.dir
        file:/usr/hadoop3.2/dfs/data
    


mapred-site.xml

     mapreduce.framework.name
     yarn


yarn-site.xml

 yarn.resourcemanager.hostname 
localhost 
 
 
yarn.nodemanager.aux-services 
mapreduce_shuffle
 

hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_121 这里用绝对路径

5，修改sbin目录下文件，如下：

修改start-dfs.sh 和 stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh 和 stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

6，ssh免密登录

cd ~/.ssh
ssh-keygen -t rsa
按enter3次
cp id_rsa.pub ./authorized_keys
记得验证下是否copy成功
ls -al 查看权限
cat authorized_keys 观察内容，看是否cp成功

7，至此，准备工作完成。进行初始化：

hdfs namenode -format

8，sbin目录下执行即可。

./start-all.sh