CentOS 7系统中hadoop的安装和环境配置

1.创建Hadoop安装解压路径：

mkdir -p /usr/hadoop

2. 进入路径：

cd /usr/hadoop

3.下载安装包（我这里用的是阿里云镜像压缩包）：

wget https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

4.解压安装包到hadoop文件路径：

 tar -zxvf /usr/hadoop/hadoop-3.3.5.tar.gz -C /usr/hadoop

5.配置环境变量：

vim /etc/profile

然后拉到最下面，插入这两行命令：

export HADOOP_HOME=/usr/hadoop/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6.让环境变量生效：

source /etc/profile

7.配置hadoop组件：

cd $HADOOP_HOME/etc/hadoop

vim hadoop-env.sh

8.输入以下内容，修改java环境变量（根据自己安装的jdk版本进行修改）：

export JAVA_HOME=/usr/java/jdk1.8.0_151

9.配置 core-site.xml

vim core-site.xml

        
            fs.defaultFS
            hdfs://master:9000
        
        
            io.file.buffer.size
            131072
        
        
            hadoop.tmp.dir
            file:/usr/local/hadoop/tmp
            Abasefor other temporary directories.
        
        
            hadoop.proxyuser.spark.hosts
            *
        
        
            hadoop.proxyuser.spark.groups
            *
        
    

10. 配置 hdfs-site.xml

vim hdfs-site.xml

        
            dfs.namenode.secondary.http-address
            master:9001
        
        
            dfs.namenode.name.dir
            file:/usr/local/hadoop/dfs/name
        
        
            dfs.datanode.data.dir
            file:/usr/local/hadoop/dfs/data
        
        
            dfs.replication
            1
        
        
            dfs.webhdfs.enabled
            true
        
    

11. YARN 框架运行环境

vim yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_171

12. 配置 yarn-site.xml

vim yarn-site.xml

        
            yarn.nodemanager.aux-services
            mapreduce_shuffle
        
        
            yarn.nodemanager.aux-services.mapreduce.shuffle.class
            org.apache.hadoop.mapred.ShuffleHandler
        
        
            yarn.resourcemanager.address
            master:8032
        
        
            yarn.resourcemanager.scheduler.address
            master:8030
        
        
            yarn.resourcemanager.resource-tracker.address
            master:8035
        
        
            yarn.resourcemanager.admin.address
            master:8033
        
        
            yarn.resourcemanager.webapp.address
            master:8088
        
    

13.配置 mapred-site.xml

vim mapred-site.xml

	
		mapreduce.framework.name
		yarn
	
	
		mapreduce.jobhistory.address
		master:10020
	
	
		mapreduce.jobhistory.webapp.address
		master:19888
	

14.编辑 ~/.bashrc

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

使配置生效：

source ~/.bashrc

15.格式化 HDFS

hdfs namenode -format

16. 启动 Hadoop

（1）启动 HDFS

start-dfs.sh

（2）启动 YARN

start-yarn.sh

（3）检查进程

jps

应看到以下进程：

• NameNode

• DataNode

• SecondaryNameNode

• ResourceManager

• NodeManager

17.验证安装

（1）访问 Web UI

• HDFS: http://master:9870

• YARN: http://master:8088

（2） 测试 HDFS

hdfs dfs -mkdir /test
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /test
hdfs dfs -ls /test

（3）运行 MapReduce 测试

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar pi 2 5

18.停止 Hadoop

stop-yarn.sh
stop-dfs.sh

注意：多节点集群：在 slave 节点上重复上述步骤，并确保配置文件一致。