(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3

                                     单节点环境搭建

一、开发环境所需要软件

1.vm14

 

2.centos6.8镜像

http://101.110.118.23/archive.kernel.org/centos-vault/6.8/isos/x86_64/CentOS-6.8-x86_64-bin-DVD1.iso

3.jdk

jdk-8u11-linux-x64.tar.gz

链接:https://pan.baidu.com/s/11sOnFSKr0kbFJJeoadx4jQ 
提取码:p1i0 
 

4.Hadoop2.7.3

链接:https://pan.baidu.com/s/1ipQggmz3Yp6X7iXzxj6A0w 
提取码:utdl 

5.xshell

二、虚拟机设置

1.界面设置(如果是最小化安装略过此步)

1、由于是在虚拟机中搭建环境对于物理机的要求会很高,为了节约不必要的资源消耗,我们把Centos的界面换成命令行的方式。

1.进入图形化界面打开终端,在终端中输入 su 然后输入密码, 进入root用户

2.输入cd /etc/inittab进入inittab文件编辑界面

3.将光标移动到最后你会看到默认的runlevel 为5 如果要修改成命令行就把id:5 修改为id:3即可然后重启即可

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第1张图片

2.静态网络配置

由于我的虚拟机是克隆过来的所以在修改的时候可能有所不同,但是大致过程还是一样的,配置静态网络首先在创建虚拟机的时候网络模式必须选择NAT模式。

1.进入命令行界面输入ifconfig 看看你的网络属性。

2.看看你的网卡是哪一个,是enth0 还是enth1

3.可以看到我的是enth1(因为我的是克隆的)

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第2张图片

4.修改

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第3张图片

修改完成重启电脑,之后输入ifconfig eth1变为eth0

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第4张图片

5.配置 静态IP输入查看是否有ifcfg-eth0如果没有就复制ifcfg-lo

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第5张图片

然后输入编辑ifcfg-eth0这个文件内容如下:

DEVICE=eth0           #描述网卡对应的设备别名

BOOTPROTO=static       #设置网卡获得 ip 的方式,选项:#static【静态指定】、dhcp【协议】、bootp【协议】

HWADDR=00:0c:29:24:e2:1b         #刚才记录的物理地址

IPV6INIT=no

NM_CONTROLLED=yes

ONBOOT=yes

TYPE=Ethernet

IPADDR=192.168.32.100   :欢的ip地址,保持和虚拟机外部在同一个网段

##NETMASK=255.255.255.0              #网卡对应的网络掩码

GATEWAY=192.168.178.2              #保持在同一网段,末尾设置为2

DNS1=192.168.178.2                #DNS1服务器的地址,保持在同一网段,末尾设置为2

再次输入ifconfig查看地址是不是有了

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第6张图片

6.修改主机名输入修改为你想要的主机名。输入命令

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第7张图片

检查主机名输入

三、配置JAVA环境

1.这里我使用的是xshell上传我的java安装包

2.第一次使用xshell可能会出现无法连接原因是因为虚拟机的ssh服务没有打开,需要在虚拟机里面使用root用户开启ssh服务命令并设置开机启动如下:

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第8张图片

设置开机启动

为用户添加权限

输入

编辑sudoers文件输入以下内容

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第9张图片

修改hosts

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第10张图片

3.首先在/opt目录下一个叫做installed存放安装的软件

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第11张图片

4.使用xshell把java安装包上传到虚拟机(如果权限不够可以先上传到普通用户文件夹下然后在移动过去),然后解压到installed文件夹

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第12张图片

解压命令:

安装jdk之前需要使用java -version查看jdk看版本

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第13张图片

进一步查看JDK信息

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第14张图片

5配置profile文件输入vi /etc/profile在最后一行输入如下(注意不要有空格):

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第15张图片

6.然后重新加载profile文件输入source /etc/profile

7.测试java是否安装成功输入java  -verion出下图结果为安装成功

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第16张图片

四、安装Hadoop2.7.3

1.使用xshell上传安装包

2.解压安装包到installed文件夹

3.配置profile

4.检测hadoop是否成功Hadoop成功截图如下

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第17张图片

运行一个例子

退出root用户检查jdk和hadoop命令是否有效如果不行修改首先,通过指令   cd  ~    进入到当前用户所在的文件夹下。

然后,通过指令     vi     .bash_profile      用vim编辑器打开  .bash_profile    文件插入如下内容

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第18张图片

运行数字统计例子

新建一个input文件夹在里面建一个文件随意输入字符

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第19张图片

testcount内容

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第20张图片

输入命令运行jar文件

运行结果

(单节点)虚拟机搭建Hadoop环境vm14+centos6.8+hadoop2.7.3_第21张图片

伪分布式见下一期内容

 

 

 

 

 

 

你可能感兴趣的:(大数据)