hadoop伪分布安装步骤

    下面来讲解如何在虚拟机环境搭建伪分布hadoop环境

   (一) 关闭防火墙。(这个在我上一篇文章中有介绍)

   (二) 修改ip地址(上一篇文章中有介绍)

   (三)修改主机名(上一篇文章有介绍)

   (四)设置ssh自动登录

   (五)安装jdk

   (六)安装hadoop

   我们这里直接从第四步开始讲

    什么是 ssh??

   SSH 为 Secure Shell 的缩写,由 IETF 的网络工作小组(Network Working Group)所制定;SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序,后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网络中的漏洞。SSH客户端适用于多种平台。几乎所有UNIX平台—包括HP-UXLinuxAIXSolarisDigital UNIXIrix,以及其他平台,都可运行SSH。(这个是在百度上面抄下来的)

 1.1 先输入命令 ssh-keygen -t rsa 一路回车  出现了hadoop伪分布安装步骤_第1张图片

根据命令行打印出来的密钥信息  我们知道  文件  就存储在 /root/.ssh/下面

cd到该目录下面 敲击命令 cp id_rsa.pub authorized_keys 执行完后就可以免密码登录了

hadoop伪分布安装步骤_第2张图片


2.安装jdk

通过工具 将jdk安装文件copy到linux系统上面 (需要然root用户拥有执行权限 执行  ls -l 可查看文件的操作权限,然后在执行命令 chmod  u+x jdk........bin)


 执行命令 ./jdk........tar.gz

hadoop伪分布安装步骤_第3张图片

 安装完成

 2.2安装完jdk后需要配置jdk的环境变量

   2.2.1 执行命令 vi /etc/usr/local

  export  JAVA_HOME=/usr/local/jdk

  export PATH=.:$JAVA_HOME/bin:$PATH

  保存退出(使用 vi 命令编辑  如何保存退出可以在网上搜索得到)

  保存退出后需要刷新刚修改的配置文件,使他立即生效

  执行命令 source /etc/profile

  验证是否配置成功  执行 java -version

 hadoop伪分布安装步骤_第4张图片

   3 安装hadoop

     3.1   将hadoop的安装包存放到linux的某个目录下面

             执行命令  tar -xzvf   hadoop............tar.gz  (其实就是相当于windows下面.zip压缩包,在linux下只是通过命令来进行解压缩,解压出来的文件夹名字过长,此时我们需要对文件夹重命名  执行命令  mv hadoop.......tar.gz   hadoop)出现如下界面算是安装完成

          hadoop伪分布安装步骤_第5张图片

        3.2 同时也需要配置hadoop环境变量

             执行命令 vi /etc/profile  修改配置文件

      export  JAVA_HOME=/usr/local/jdk

      export  HADOOP_HOME=/usr/local/hadoop

      export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

             修改完成之后 保存退出      

             执行 source /etc/profile 刷新配置文件(立即生效)

       3.3 需要配置hadoop 的配置文件

            此时需要修改hadoop的四个配置文件

           修改/hadoop/conf目录下面的配置文件  hadoop-evn.sh、 core-site.xml、hdfs-site.xml、mapred-site.xml

           在存储数据之前先对文件系统进行格式化   执行命令  hadoop namenode -format

           接着  启动 hadoop  执行命令  start-all.sh 

         验证启动成功   执行命令  jps  

         如果有5个java进程  就启动成功


  此时  hadoop的伪分布安装完成



你可能感兴趣的:(hadoop)