01 在CentOS7中安装Hadoop

hadoop是大数据入门组件，主要包括两个服务，hdfs以及mapreduce，前者是存储，后者是计算。本文将阐述hadoop的安装。

1 系统、软件以及前提约束

• CentOS 7 64 工作站 作者的机子ip是192.168.100.192，请读者根据自己实际情况设置
• jdk1.8.0_162 已经安装完毕，并配置环境变量，作者的环境变量为/root/jdk1.8.0_162，请读者根据自己实际情况设置
  jdk安装 https://www.jianshu.com/p/08b94347bb8a
• hadoop-2.5.2
  hadoop下载链接：https://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
  提取码：a00t
  hadoop-2.5.2.tar.gz已上传到192.168.100.192的/root目录下
• 为去除权限对操作的影响，所有操作都以root进行

2 操作

• 1 使用putty登录192.168.100.192，设置主机名

# 打开hosts文件
vim /etc/hosts
# 在hosts中添加以下内容
192.168.100.192 hadoop1

保存退出。

• 2 解压hadoop-2.5.2.tar.gz，作者解压好的目录为/root/hadoop-2.5.2

tar -xvf hadoop-2.5.2.tar.gz

• 3 编辑/root/hadoop-2.5.2/etc/hadoop/core-site.xml
  在configuration标签中加入以下内容，【注意：请读者一定按照自己的实际情况设置，例如主机的名称这里是hadoop1】

        
                hadoop.tmp.dir
                /usr/hadoop/tmp
                Abase for other temporary directories.
        
        
                fs.defaultFS
                hdfs://hadoop1:9000
        
        
                io.file.buffer.size
                4096
        

退出保存后，创建上面设置的临时目录/usr/hadoop/tmp

mkdir -p /usr/hadoop/tmp

• 5 编辑/root/hadoop-2.5.2/etc/hadoop/hdfs-site.xml
  在configuration标签中加入以下内容:

         
                dfs.namenode.name.dir
                file:///usr/hadoop/dfs/name
        
        
                dfs.datanode.data.dir
                file:///usr/hadoop/dfs/data
        
        
                dfs.replication
                2
        
        
                dfs.permissions
                false
        

退出保存后，创建上面涉及的两个文件夹：

mkdir -p /usr/hadoop/dfs/name
mkdir -p /usr/hadoop/dfs/data

• 6 编辑/root/hadoop-2.5.2/etc/hadoop/mapred-site.xml
  在configuration标签中加入以下内容:

        
                mapreduce.framework.name
                yarn
                true
        

• 7 编辑/root/hadoop-2.5.2/etc/hadoop/yarn-site.xml
  在configuration标签中加入以下内容:

        
                yarn.resourcemanager.hostname
                hadoop1
        
        
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

• 8 编辑/root/hadoop-2.5.2/etc/hadoop/hadoop-env.sh
  添加环境变量：

export JAVA_HOME=/root/jdk1.8.0_162

• 9 编辑/root/hadoop-2.5.2/etc/hadoop/yarn-env.sh
  添加环境变量：

export JAVA_HOME=/root/jdk1.8.0_162

• 10 格式化

# 进入bin目录
/root/hadoop-2.5.2/bin
# 格式化【注意：如果需要输入yes，请输入yes】
./hdfs namenode -format

• 11 启动hdfs

# 进入sbin目录
cd /root/hadoop-2.5.2/sbin
# 启动【注意：如果需要输入密码，请输入密码】
./start-dfs.sh

• 12 启动yarn

# 进入sbin目录
cd /root/hadoop-2.5.2/sbin
# 启动【注意：如果需要输入密码，请输入密码】
./start-yarn.sh

• 13 验证，在命令行中输入jps命令
  得到以下结果，则安装和启动hadoop单机版成功：

  
  
  

  2.png
  
  

  至此，我们完成了安装和启动hadoop。