超详细 Hadoop 安装（内附ssh免密登录，图文详解，小白必看）

Hadoop 伪分布安装 （内附ssh免密登录，收藏起来看哦）

 

目录

Hadoop 伪分布安装 （内附ssh免密登录，收藏起来看哦）

一：   安装前准备

二：    jdk 安装，java环境配置

三：    伪分布hadoop环境安装

四：    ssh免密登录配置【简化启动】

五：    总结

---

 

一：   安装前准备

安装前工作：  确保已经装好虚拟机及linux系统，准备好hadoop安装包和jdk安装包

以下为可能会用到的安装工具及网盘下载链接【自取】：

1. hadoop-2.7.7.tar.gz

链接：https://pan.baidu.com/s/18tMvslkfjyulrip9-2IitQ 
提取码：aoye 

     2. jdk-8u211-linux-x64.tar

链接：https://pan.baidu.com/s/1lGoPs6zwmkysw4uW2PhXag 
提取码：aoye 

     3. WinSCP-5.17.5-Setup

链接：https://pan.baidu.com/s/137BmJIktaGzN0p4fylbUhQ 
提取码：aoye 
 

二：    jdk 安装，java环境配置

1.   上传hadoop-2.7.7.tar.gz安装包和jdk-8u211-linux-x64.tar安装包到linux系统 【可通过winscp工具将windows系统上安装包上传到linux系统】

   

2.   将安装包放到根目录下/opt目录下【可在上传安装包时选择对应目录！也可后续移动】

3.   配置jdk【在/opt下创建目录jdk，将jdk解压在该文件下】

4.    在/etc/profile目录下配置环境变量和启动程序，输入：vi /etc/profile  【按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】

#JAVA ENV
export JAVA_HOME=/jdk解压目录
export PATH=$JAVA_HOME/bin:$PATH

5.     刷新使得编辑文件生效,输入： source  /etc/profile

6.     输入查看java环境是否安装成功： java -version 

 

三：    伪分布hadoop环境安装

hadoop安装模式：  本地安装，伪分布安装，完全分布式安装

安装流程：  解压安装包----配置环境----修改五个配置文件-----格式化namenode----启动hadoop

 

1.     解压hadoop-2.7.7.tar.gz安装包【在/opt目录下创建hadoop目录，把hadoop-2.7.7.tar.gz解压到该目录下】

解压后目录如下：

2.      配置hadoop环境【在 /etc/profile 目录下配置，输入：vi  /etc/profile，按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】

#HADOOP ENV
export HADOOP_HOME=/hadoop解压目录
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3.      刷新使得文件生效，并查看环境是否配置成功【刷新：source /etc/profile  ;    查看是否配置成功：hadoop】

4.        进入hadoop解压目录下的/etc/hadoop目录下 【例如： cd /opt/hadoop/hadoop-2.7.7/etc/hadoop】

5.      修改五个配置之一：hadoop-env.sh 【按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】

6.        修改五个配置文件之一： hdfs-site.xml  【在../etc/hadoop目录下输入：vi hdfs-site.xml】

    dfs.replication
    1


    dfs.permissions
    1

7.        修改五个配置文件之一： core-site.xml

 
       fs.defaultFS
       hdfs://主机名:9000
   
   
       hadoop.tmp.dir

      # tmp目录需自己创建在对应的目录下
       /opt/hadoop/hadoop-2.7.7/tmp
   

8.        修改五个配置文件之一： mapred-site.xml  【没有这个配置文件，通过拷贝mapred-site.xml.template产生，输入： cp mapred-site.xml.template mspred-site.xml】

 
       mapreduce.framwork.name
       yarn
   

9.        配置五个配置文件之一： yarn-site.xml

    yarn-resourcemanager.hostname
    主机名


    yarn.nodemanager.aux-services
    mapreduce_shuffle

10.      格式化namenode 【回到hadoop解压主目录，进入bin目录下，输入命令进行格式化：hdfs namenode -format】

成功后如下截图：

【如有格式化错误可根据所报日志进行查找，注意修改的配置文件中不能有半点错误！！】

11.       启动hadoop  【进入hadoop安装目录下的  /sbin 目录下，输入命令启动：./start-all.sh】

注意：启动需多次输入密码，比较麻烦，结尾将给出免密登录的配置（可不用多次输入密码启动hadoop），密码输入是不显示的，输入完回车即可！

12.      启动成功后必须得有以下五个进程【namenode，datanode，secondarynamenode，resourcemanager。nodemanager】，输入查看：  jps

13.      hadoop配置并启动成功，可在浏览器输入端口号访问web页面： 主机名：50070

出现访问不了页面的问题，通过以下解决：

1.  查看防火墙状态并关闭防火墙：

2.   配置windows端ip映射 【进入以下目录：C:\Windows\System32\drivers\etc，修改hosts文件加入linux主机ip和主机名，切记保存并退出】

 

四：    ssh免密登录配置【简化启动】

1.      关闭hadoop【sbin目录下：./stop-all.sh】

2.      进入/root/.ssh目录：cd ~/.ssh

3.      输入 ssh-keygen -t rsa  【三下回车，生成两个文件id_rsa（私匙），id_rsa.pub（共匙）】

4.      ssh-copy-id 主机名【将公匙拷贝到要免密登录的机器上】

5.      配置好后如下【启动不用再输入密码】

五：    总结

以上为hadoop伪分布安装以及免密登录，解释得有不清楚的地方多多海涵。