超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)

Hadoop 伪分布安装 (内附ssh免密登录,收藏起来看哦)

 

目录

Hadoop 伪分布安装 (内附ssh免密登录,收藏起来看哦)

一:   安装前准备

二:    jdk 安装,java环境配置

三:    伪分布hadoop环境安装

四:    ssh免密登录配置【简化启动】

五:    总结


 

一:   安装前准备

安装前工作:  确保已经装好虚拟机及linux系统,准备好hadoop安装包和jdk安装包

以下为可能会用到的安装工具及网盘下载链接【自取】:

  1. hadoop-2.7.7.tar.gz

链接:https://pan.baidu.com/s/18tMvslkfjyulrip9-2IitQ 
提取码:aoye 

     2. jdk-8u211-linux-x64.tar

链接:https://pan.baidu.com/s/1lGoPs6zwmkysw4uW2PhXag 
提取码:aoye 

     3. WinSCP-5.17.5-Setup

链接:https://pan.baidu.com/s/137BmJIktaGzN0p4fylbUhQ 
提取码:aoye 
 

二:    jdk 安装,java环境配置

1.   上传hadoop-2.7.7.tar.gz安装包和jdk-8u211-linux-x64.tar安装包到linux系统 【可通过winscp工具将windows系统上安装包上传到linux系统】

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第1张图片   超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第2张图片

2.   将安装包放到根目录下/opt目录下【可在上传安装包时选择对应目录!也可后续移动】

3.   配置jdk【在/opt下创建目录jdk,将jdk解压在该文件下】

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第3张图片

4.    在/etc/profile目录下配置环境变量和启动程序,输入:vi /etc/profile  【按 i 进入编辑模式,编辑完后先按esc 再输入 :wq 保存并退出】

#JAVA ENV
export JAVA_HOME=/jdk解压目录
export PATH=$JAVA_HOME/bin:$PATH

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第4张图片

5.     刷新使得编辑文件生效,输入: source  /etc/profile

6.     输入查看java环境是否安装成功: java -version 

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第5张图片

 

三:    伪分布hadoop环境安装

hadoop安装模式:  本地安装,伪分布安装,完全分布式安装

安装流程:  解压安装包----配置环境----修改五个配置文件-----格式化namenode----启动hadoop

 

1.     解压hadoop-2.7.7.tar.gz安装包【在/opt目录下创建hadoop目录,把hadoop-2.7.7.tar.gz解压到该目录下】

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第6张图片

解压后目录如下:

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第7张图片

2.      配置hadoop环境【在 /etc/profile 目录下配置,输入:vi  /etc/profile,按 i 进入编辑模式,编辑完后先按esc 再输入 :wq 保存并退出】

#HADOOP ENV
export HADOOP_HOME=/hadoop解压目录
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第8张图片

3.      刷新使得文件生效,并查看环境是否配置成功【刷新:source /etc/profile  ;    查看是否配置成功:hadoop

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第9张图片

4.        进入hadoop解压目录下的/etc/hadoop目录下 【例如: cd /opt/hadoop/hadoop-2.7.7/etc/hadoop】

5.      修改五个配置之一:hadoop-env.sh 【按 i 进入编辑模式,编辑完后先按esc 再输入 :wq 保存并退出】

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第10张图片

6.        修改五个配置文件之一: hdfs-site.xml  【在../etc/hadoop目录下输入:vi hdfs-site.xml


    dfs.replication
    1


    dfs.permissions
    1

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第11张图片

7.        修改五个配置文件之一: core-site.xml

 
       fs.defaultFS
       hdfs://主机名:9000
   

   
       hadoop.tmp.dir

      # tmp目录需自己创建在对应的目录下
       /opt/hadoop/hadoop-2.7.7/tmp
   

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第12张图片

8.        修改五个配置文件之一: mapred-site.xml  【没有这个配置文件,通过拷贝mapred-site.xml.template产生,输入: cp mapred-site.xml.template mspred-site.xml

 
       mapreduce.framwork.name
       yarn
   

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第13张图片

9.        配置五个配置文件之一: yarn-site.xml


    yarn-resourcemanager.hostname
    主机名


    yarn.nodemanager.aux-services
    mapreduce_shuffle

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第14张图片

10.      格式化namenode 【回到hadoop解压主目录,进入bin目录下,输入命令进行格式化:hdfs namenode -format

成功后如下截图:

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第15张图片

【如有格式化错误可根据所报日志进行查找,注意修改的配置文件中不能有半点错误!!

11.       启动hadoop  【进入hadoop安装目录下的  /sbin 目录下,输入命令启动:./start-all.sh

注意:启动需多次输入密码,比较麻烦,结尾将给出免密登录的配置(可不用多次输入密码启动hadoop),密码输入是不显示的,输入完回车即可!

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第16张图片

12.      启动成功后必须得有以下五个进程【namenode,datanode,secondarynamenode,resourcemanager。nodemanager】,输入查看:  jps

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第17张图片

13.      hadoop配置并启动成功,可在浏览器输入端口号访问web页面: 主机名:50070

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第18张图片

出现访问不了页面的问题,通过以下解决:

1.  查看防火墙状态并关闭防火墙:

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第19张图片

2.   配置windows端ip映射 【进入以下目录:C:\Windows\System32\drivers\etc,修改hosts文件加入linux主机ip和主机名,切记保存并退出

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第20张图片

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第21张图片

 

四:    ssh免密登录配置【简化启动】

1.      关闭hadoop【sbin目录下:./stop-all.sh】

2.      进入/root/.ssh目录:cd ~/.ssh

3.      输入 ssh-keygen -t rsa  【三下回车,生成两个文件id_rsa(私匙),id_rsa.pub(共匙)】

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第22张图片

4.      ssh-copy-id 主机名【将公匙拷贝到要免密登录的机器上】

5.      配置好后如下【启动不用再输入密码】

超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)_第23张图片

五:    总结

以上为hadoop伪分布安装以及免密登录,解释得有不清楚的地方多多海涵。

 

 

 

 

 

 

你可能感兴趣的:(大数据,hadoop,大数据)