搭建hadoop伪分布式环境

前提准备

1. 在CentOS中安装JDK，配置Java环境变量

JAVA_HOME=/usr/local/src/jdk1.8.0_181
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH

2. 在Apache官网下载hadoop-2.8.4.tar.gz安装包

---

一、安装hadoop

解压hadoop安装包

tar -zxvf hadoop-2.8.4.tar.gz -C /root/training

配置hadoop环境变量

HADOOP_HOME=/root/training/hadoop-2.8.4
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

hadoop的目录结构

---

三、配置hadoop运行参数

需要配置的文件有五个
1.hadoop-env.sh（hadoop运行环境）

export JAVA_HOME=/usr/local/src/jdk1.8.0_181

2.core.site.xml(核心配置文件)

        
        
           fs.defaultFS
           hdfs://192.168.163.134:9000
        
        
        
           hadoop.tmp.dir
           /root/training/hadoop-2.8.4/tmp
        

3.hdfs-site.xml（配置hdfs文件系统）

        
        
           dfs.replication
           1
        
        
        
           dfs.permissions
           false
        

4.mapred-site.xml (配置MR)

        
        
          mapreduce.framework.name
          yarn
        

5.yarn-site.xml（配置yarn）

        
        
           yarn.resourcemanager.hostname
           192.168.163.134
        
        
        
           yarn.nodemanager.aux-services
           mapreduce_shuffle
        

四、运行Hadoop

注意：第一次打开HDFS时，它必须被格式化。将一个新的分布式文件系统格式化为hdfs：

hdfs namenode -format 

输出日志：

 Storage directory /root/training/hadoop-2.8.4/tmp/dfs/name has been successfully formatted. 格式化成功

start-all.sh

1.启动hdfs，存储数据
2.启动yarn，执行计算

执行jps命令查看本机jvm进程

五、在web界面查看hadoop

查看NameNode：http://192.168.163.134:50070

查看看ResourceManager： http://192.168.163.134:8088

hadoop搭建成功！

---