centos7 hadoop2.8.5 安装

一、下载地址

https://www-eu.apache.org/dist/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz

二、前置条件

1. 安装jdk8

需要安装好jdk8，安装方法参考centos7 jdk8安装

2.创建一个新用户

a)添加用户

useradd -m hadoop -s /bin/bash

b)修改密码

passwd hadoop

c)分配用户组

usermod -a -G hadoop hadoop

d)添加sudo权限

修改/etc/sudoers文件

vim /etc/sudoers

在文件中找到“root ALL=(ALL) ALL”，在这行下面加上“hadoop ALL=(ALL) ALL”，然后输入":wq!"保存退出

e)切换用户

su - hadoop

3.ssh密钥生成

检查您是否可以在没有密码的情况下ssh到localhost

ssh localhost

如果需要输入密码请执行以下命令：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

验证是否成功

ssh localhost

执行结果

f)添加hosts

sudo vim /etc/hosts

加入

192.168.200.128 hadoopserver # ip 主机名

三、安装步骤

1.安装hadoop(伪分布模式)

a)解压下载好的hadoop

sudo tar -zxf hadoop-2.8.5.tar.gz -C /usr/local/ # 解压hadoop到/user/local

b)修改文件的所有者

sudo chown -R hadoop:hadoop /usr/local/hadoop-2.8.5

c)添加环境变量

修改~/.bashrc文件

vim ~/.bashrc

文件中加入

export HADOOP_HOME=/usr/local/hadoop-2.8.5
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使环境变量生效

source ~/.bashrc

d)修改配置文件

进入配置文件目录

cd $HADOOP_HOME/etc/hadoop

修改下列配置文件

• hadoop-env.sh
  修改文件中的JAVA_HOME

export JAVA_HOME=/usr/local/jdk1.8.0_201

• core-site.xml
  修改core-site.xml文件当中的

修改为

  
     hadoop.tmp.dir
     /usr/local/hadoop-2.8.5/tmp
     Abase for other temporary directories.
  
  
     fs.defaultFS
     hdfs://hadoopserver:9000
  

• hdfs-site.xml
  同样修改为

  
     dfs.replication
     1
  
  
     dfs.namenode.name.dir
     /usr/local/hadoop-2.8.5/tmp/dfs/name
  
  
     dfs.datanode.data.dir
     /usr/local/hadoop-2.8.5/tmp/dfs/data
  

• yarn-site.xml
  同样修改为

 
   yarn.resourcemanager.hostname
   hadoopserver
 
 
   yarn.nodemanager.aux-services
   mapreduce_shuffle
 

• mapred-site.xml
  因为mapred-site.xml文件不存在，所以重命名mapred-site.xml.template文件即可

mv mapred-site.xml.template mapred-site.xml

然后修改为

  
    mapreduce.framework.name
    yarn
  

• slaves
  修改为主机名，如:hadoopserver

四、启动

第一次启动之前需要格式化HDFS

hdfs namenode -format

启动服务

start-dfs.sh
start-yarn.sh

启动成功后访问web页面

http://server-ip:50070

http://192.168.200.128:8088