hadoop学习笔记之hadoop伪分布集群搭建(二)

本次hadoop伪分布搭建环境:Windows10_64位+VMware9.0+Centos 6.4(32位)

默认以上环境已经配置好,下面开始进行hadoop伪分布集群安装......

============================================================

内容如下:

一、给主机服务器(Centos 6.4)配置IP地址

二、安装jdk,并配置环境变量

三、安装hadoop

四、ssh免密登录

五、HDFS & MapReduce 运行测试

============================================================

一、为了以后方便,我们先做一些其他配置

(1)将当前用户(我这里为hadoop用户)加入到sudoer里面

首先:使用命令 su 将用户切换成root

接着:修改配置文件,使用命令  vi /etc/sudoers  打开,使用字母i进入编辑模式

然后:在root  ALL=(ALL)ALL 后面添加  hadoop  ALL=(ALL)  ALL

最后:按ESC退出编辑模式,使用命令 " :wq"保存并退出文件

(2)关闭图形用户界面

此时的Centos系统就可以关闭图形用户界面了,这样做是为了省内存,因为真正的服务器都是直接连上去,不需要图形用户界面。

使用命令  init3 就可以关闭图形用户界面,但是该命令只能关闭一次,在下次服务器启动时还是会启动图形用户界面,如果想永久性关闭,需要修改一些系统配置文件

使用命令 sudo vi /etc/inittab

找到如下位置,将5修改为3即可,注意,千万不要修改为6,这样系统会重复启动

hadoop学习笔记之hadoop伪分布集群搭建(二)_第1张图片

关闭图形用户界面以后,我们可以使用SecureCRT软件在windows系统下登录Linux系统

以下操作都是通过SecureCRT来访问主机了

(3)修改主机名

通过修改系统配置文件, 命令 sudo vi /etc/sysconfig/network

将HOSTNAME=localhost.localdomain  修改为自己对应的名字即可,如我修改为了HOSTNAME=work01

hadoop学习笔记之hadoop伪分布集群搭建(二)_第2张图片

此时,修改的内容不会立即生效,可以重启服务器或者使用 sudo hostname 名字命令,exit退出,然后回车重新登录即可

hadoop学习笔记之hadoop伪分布集群搭建(二)_第3张图片

(4)配置主机名和IP地址一一映射

修改完主机名以后,此时我们想通过主机名访问还是不行的,还需要将主机名和IP地址做映射

修改系统配置文件  sudo vi /etc/hosts  添加内容:IP地址  主机名

hadoop学习笔记之hadoop伪分布集群搭建(二)_第4张图片

此时,我们就可以通过主机名访问主机了

hadoop学习笔记之hadoop伪分布集群搭建(二)_第5张图片

----------------------------------------------------------------------------------

1、安装JDK

根据自己的Linux系统选择对应的jdk版本,这里选择jdk1.7 32位

我们需要将jdk安装包上传到服务器上,使用命令 put filename 即可,具体做法是
首先alt+p打开SFTP命令窗口,然后 put filename(文件绝对路径) 即可

在用户主目录下建立一个新的文件夹(此处为app),目的是将所有关于hadoop的文件全部放在次文件夹下
mkdir app
解压jdk安装包  tar -zxvf jdk-7u65-linux-i586.tar.gz -C app/
tar:  压缩/解压缩命令
-z:   指定解压缩编码格式
-x:   表示此命令是用来解压
-v:   打印解压进度
-f:   指定解压的是文件
-C:  将文件解压到指定位置

解压完后意味着jdk已经可以使用了,那么来验证一下,可以看到一些java常用的命令
hadoop学习笔记之hadoop伪分布集群搭建(二)_第6张图片
hadoop学习笔记之hadoop伪分布集群搭建(二)_第7张图片

接下来将java的安装路径添加到环境变量里
sudo vi /etc/profile
定位到文件最后一行命令是shift+g(也就是G)  而定位到文件最前面是gg
在文件末尾添加两行,将java和java/bin目录添加进去。 (查看文件全路径可以先cd到该文件,然后使用命令pwd获得文件全路径)
hadoop学习笔记之hadoop伪分布集群搭建(二)_第8张图片
添加完后不能立即生效,可以使用source /etc/profile立即生效

hadoop学习笔记之hadoop伪分布集群搭建(二)_第9张图片

--------------------------------------------------------------------------

至此,jdk安装就算大功告成啦~

你可能感兴趣的:(hadoop学习笔记)