安装Hadoop超详细流程（亲测有效）

Hadoop的核心为HDFS、YARN、MapReduce

1. 安装JAVA和Hadoop

首先准备好环境：CentOS-7
然后下载JDK，这里注意hadoop目前只支持jdk7和jdk8，不支持jdk11
安装OpenJDK：sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
然后需要配置JAVA_HOME环境变量：

vim /etc/profile
 
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export JAVA_HOME
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

然后我们可以检查是否生效：

echo $JAVA_HOME
java -version
$JAVA_HOME/bin/java -version  # 应该和上面的命令执行之后一模一样

下载hadoop压缩包并且解压：

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
tar -xzvf hadoop-2.9.2.tar.gz

然后配置hadoop环境变量：

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile

然后现在可以hadoop version来查看版本测试是否成功

---

2. 配置Hadoop

然后我们还需要配置几个配置文件： cd /usr/local/hadoop-2.9.2/etc/hadoop/

• 修改core-site.xml文件：里面已经存在configuration标签

  <configuration>
          <property>
              <name>hadoop.tmp.dirname>
              <value>/usr/local/hadoop-2.9.2/tmpvalue>
          property>
          <property>
              <name>fs.defaultFSname>
              <value>hdfs://10.96.95.172:9000value>
          property>
  
  		<property>
      		<name>hadoop.native.libname>
      		<value>falsevalue>
      		<description>Should native hadoop libraries, if present, be used.
      		description>
  		property>
  configuration>
  

• 修改hadoop-env.sh配置自己安装的JDK的位置：

  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
  

• 修改hdfs-site.xml文件：

  <property>
     <name>dfs.replicationname>
     <value>1value>
  property>
  
  <property>
      <name>dfs.secondary.http.addressname>
      <value>10.96.95.172:50090value>
  property>
  

• cp mapred-site.xml.template ./mapred-site.xml 并且配置该文件

  <property>
      <name>mapreduce.framework.namename>
      <value>yarnvalue>
  property>
  

• 配置yarn-site.xml文件：记得把ip替换成自己的ip

  <property>
      <name>yarn.resourcemanager.hostnamename>
      <value>10.96.95.172value>
  property>
  
  <property>
      <name>yarn.nodemanager.aux-servicesname>
      <value>mapreduce_shufflevalue>
  property>
  

---

3. 启动Hadoop

这样相关配置就已经ready了，我们接下来cd /usr/local/hadoop-2.9.2/sbin/
先格式化hadoop文件格式：hadoop namenode -format

然后启动：./start-all.sh

最后通过jps命令可以查看启动的服务：

这里看到都成功了之后，可以访问ip：50070访问网页查看