Hadoop的学习我们先从Linux系统的安装与配置开始。
1.下载Linux系统
我们可以从官网(https://www.linux.org/)下载,当然在国内还是找国内的资源比较好。本文使用阿里云的镜像:https://mirrors.aliyun.com/centos/
进入网站下载centos7.4
的版本。
2.安装Linux系统
下载好了Linux的安装文件之后,我们就可以来安装了,在这里我们将Linux系统安装在VMware 虚拟机中,如果你还没有安装过VMware,可以去官网下载(https://www.vmware.com/cn.html),该软件不免费,不过网上有很多资源,你懂的。
安装好VMware之后,第一步要做的就是设置网络。
设置网络的目的是让之后安装的Linux系统能和我们的Windows系统进行通信以及使用外网。否则Linux是不能联网也不能连接我们自己的电脑的。
好了接下来我们一步一步的设置网络吧。
- 依照上图进入网络设置,设置vmnet8的网络如下:
设置好之后你会发现在windows的网络设置中出现了另一个虚拟网卡,这个就是虚拟机用来和windows系统通信的网卡了、
2.新建虚拟机
除这一步骤之外其余都可以直接点击next
3.完成上面两个步骤之后我们就可以开始愉快的在虚拟机中安装Linux系统啦!
首先你需要预先设置好Linux系统的网络:
然后右键你的Linux虚拟机
-->power
-->power on
启动虚拟机
启动之后就跟着我一起来设置吧:
在这里我们要选择Linux安装的模式。这里面有很多选项,有图形化的有服务器版本的,一般在生产环境下我们会使用最小安装,或者基础设施服务器,不过在学习的时候我们选择带GUI的服务器会好一点,因为有图形化嘛。
好了稍等一会让系统检查设置就可以点击开始安装啦。
设置你的root用户密码,密码可以是root也可以是其他,随便你自己设置啦。
创建一个hadoop用户
等待安装完毕就可以进入系统了。
安装好之后在测试一下是否能连上Linux虚拟机:
3.JDK的安装
因为Hadoop是基于Java开发的所以我们需要在Linux系统中安装JavaJDK。
在安装之前我们先来看看在Linux系统中是否有JavaJDK,输入命令:rpm -qa|grep java
可以发现已经有了,那么我们将这些卸载,命令:rpm -e --nodeps 要卸载的软件
去Oracle的官网下载JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
我们可以先下载到本地,然后从Windows中将文件传入到虚拟机中。
也可以复制链接地址,在Linux系统中下载,不过复制链接地址不能直接下载,因为Oracle做了限制,地址后缀需要加上它随机生成的随机码才,才能下载到资源。
所以我们可以点击下载,然后暂停,最后在下载管理中复制链接地址就可以在Linux系统中下载啦。
下载完成之后,需要修改JDK的名字(因为下载完成之后的文件会加上随机码)
修改好名字之后我们在根目录下创建一个app
文件夹,将JDK安装在app
目录下。
可能会被告知权限不够,我们切换成root用户登陆。
再次创建文件夹/app
。
接下来将JDK解压到app
目录下,命令:tar -zxvf jdk8-linux-x64.tar.gz -C /app
注意-C 的C是大写
最后设置环境变量,测试是否安装成功即可。
设置环境变量
输入:vim /etc/profile
修改配置文件
到文件末尾,插入如下代码,输入wq保存.
JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
保存完毕之后输入source /etc/profile
,重新加载配置文件。
最后验证JavaJDK是否安装成功,如出现如下界面就恭喜你啦。
未完待续......