ubantu20.04下配置hadoop环境详细教程(包含可能遇到的问题以及解决方法)

首先你要有ubantu系统

。。。。。。。。。(此处省略超多字)

相信能学到配置hadoop的你,应该会对linux系统有所熟悉,那接下来废话不多说!

直奔主题。。。。。。!!!

在安装hadoop之前还要做一些预备工作,避免以后的麻烦

如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户

首先ctrl+alt+t进入终端界面

ubantu20.04下配置hadoop环境详细教程(包含可能遇到的问题以及解决方法)_第1张图片

 创建hadoop用户

然后输入这段命令

sudo useradd -m hadoop -s /bin/bash

命令解释:

添加hadoop用户,以 /bin/bash为shell

可能遇到的问题:

sudo是ubuntu中一种权限管理机制,管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。当使用sudo命令时,就需要输入您当前用户的密码

输入密码时,不要慌啊,你键盘没问题,linux系统特色---密码是不显示出来的连***都没有

设置密码

sudo passwd password

命令解释:passwd后面的password是你要设置的密码。。。根据提示输入两次密码

为 hadoop 用户增加管理员权限,避免麻烦

输入命令:

sudo adduser hadoop sudo

最后注销当前用户(点击屏幕右上角的齿轮,选择注销),返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆

然后需要更改软件源(不更改也行直接输入命令sudo apt-get update,如果报错。。。。你还是老老实实跟我走)

首先进入主界面,点击左下角的show applocations

在搜索框输入software&update

ubantu20.04下配置hadoop环境详细教程(包含可能遇到的问题以及解决方法)_第2张图片

 

然后点击download from。。。复选框选择other找到阿里云镜像或者清华镜像

ubantu20.04下配置hadoop环境详细教程(包含可能遇到的问题以及解决方法)_第3张图片

接下来就是傻瓜式配置

他会提示你啥啥过时了

你重新载入就行(一个选项)

如上图我选择的是阿里云镜像。。。你随便

更新成功后,执行 sudo apt-get update

更新好之后我们可以安装ssh来帮我们实现无密码登陆hadoop

由于ubantu系统自带了SSH client,所以我们只需要安装ssh server

输入命令:

sudo apt-get install openssh-server

安装好之后输入命令:

ssh localhost   #登陆本机

首次登陆会出现提示

输入yes

然后再根据提示输入之前为hadoop设置好的密码进行验证就可以登陆本机了

首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

输入以下多行命令:

exit # 退出刚才的 ssh localhost

cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost

ssh-keygen -t rsa # 会有提示,都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys # 加入授权

提示:本博客参考的是http://dblab.xmu.edu.cn/blog/install-hadoop/大家可以去看看,比较详细

然后就可以无密码登陆了,方便了很多

接下来需要继续安装一些东西

安装vim,方便更改一些配置文件

输入命令:

sudo apt-get install vim

第一次下载,根据提示回应y即可

安装hadoop还需要配置java环境

安装java

简单粗暴直接去Oracle官网下载相应的版本(需要登陆,qq邮箱就可以注册一个),这里使用的是1.8

下载地址https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 选择jdk-8u251-linux-x64.tar.gz

下载好后

在终端输入以下命令:

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads #

ls#查看当前目录下的文件(如果你忘记那一长串文件名的话推荐使用,抄起来相当方便)也可以用tree查看文件的文件的文件的。。。。
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

解压好之后

开始设置环境变量

cd ~

vim ~/.bashrc

上面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件,请在这个文件的开头位置,添加如下几行内容:

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存.bashrc文件并退出vim编辑器。然后,继续执行如下命令让.bashrc文件的配置立即生效:

source ~/.bashrc

这时,可以使用如下命令查看是否安装成功:

java -version

如果能够在屏幕上返回如下信息,则说明安装成功:

hadoop@ubuntu:~$ java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

最后开始安装hadoop了!!!

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载,一般选择下载最新的稳定版本,即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件

我们选择将 Hadoop 安装至 /usr/local/ 中:

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中

cd /usr/local/

sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop

sudo chown -R hadoop ./hadoop # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:

cd /usr/local/hadoop

./bin/hadoop version

最后。。。这就是最基本的配置了。。。有何问题请留言,尽力帮忙!持续更新。。。未完待续

创作不易,有帮到你的可以请我喝杯咖啡哦

ubantu20.04下配置hadoop环境详细教程(包含可能遇到的问题以及解决方法)_第4张图片

 

你可能感兴趣的:(笔记,安装配置,数据分析,python,数据分析,hadoop)