Hadoop安装教程(单机/伪分布式环境搭建)/Ubuntu18.04

Hadoop安装教程(单机/伪分布式环境搭建)/Ubuntu18.04

  • 本教程使用 Ubuntu 18.04 LTS 64位 作为系统环境(Ubuntu 16.04,Ubuntu20.04 也行,32位、64位均可),请自行安装系统。
  • 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,如 Hadoop 2.7.1、2.6.3、2.4.1等。

前期工作

  • 装好了 Ubuntu 系统之后,在安装 Hadoop 前还需要做一些必备工作。

  • 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。

  • 首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :`

  • $ sudo useradd -m hadoop -s /bin/bash

  • 接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码:

  • $ sudo passwd hadoop

  • 可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:

  • $ sudo adduser hadoop sudo

  • 最后注销当前用户,返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。

  • 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口,执行如下命令:

  • $ sudo apt-get update

安装SSH及SSH无密码登录

  • 集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
  • $ sudo apt-get install openssh-server
  • 安装后,可以使用如下命令登陆本机:
  • $ ssh localhost
  • 但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
 $ exit                       # 退出刚才的 ssh localhost
 $ cd ~/.ssh/                 # 若没有该目录,请先执行一次ssh localhost
 $ ssh-keygen -t rsa          # 会有提示,都按回车就可以
 $ cat ./id_rsa.pub >> ./authorized_keys     # 加入授权~`

 
  • 在 Linux 系统中,~ 代表的是用户的主文件夹,即 “/home/用户名” 这个目录,如你的用户名为 hadoop,则 ~ 就代表 “/home/hadoop/”。 此外,命令中的 # 后面的文字是注释,只需要输入前面命令即可。
  • 此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了

未完待续

你可能感兴趣的:(从零开始自学大数据,hadoop,ubuntu,linux,ssh)