Hadoop从入门到精通系列之--1.环境搭建

目录

 

一 Hadoop简介

二 Hadoop运行环境搭建前准备

2.1虚拟机准备

2.2网络配置

2.3修改Linux主机名称

三 Hadoop运行环境搭建

3.1 克隆虚拟机

3.2修改静态ip

3.3修改主机名称（见上）

3.4关闭防火墙

3.5创建用户wanglei

3.6给wanglei配置root权限

3.7在/opt下新建software存放安装包，module安装软件文件夹

四 安装JDK和Hadoop

4.1使用xFtp传输jdk的tar包

4.2安装Hadoop

4.3 总结：hadoop的环境配置是开始最难的一步，需要一定的Linux基础，不然很难理解，我自己也是花了一个月时间将Linux学习了一遍，在配置的时候还是蛮顺利的，这里分享一下我的Linux学习视频

---

一 Hadoop简介

关于Hadoop，去百度上搜索能收到很多关于它的介绍，我用自己的话来介绍一下，Hadoop是Apache的一个项目，现在的社会已经步入了大数据时代，这个时代的特点就是数据量特别大，那么就会遇到一个问题，数据量太大了，怎么处理呢？Hadoop框架的作用就两个：1.存储 2.计算。存储就是数据太大了，一台电脑已经存储不了了，那么就需要好多台电脑存数据，那么这么多电脑存，会遇到很多问题，比如怎么存等等；计算就是比如我想统计一下阿里巴巴的日访问量，阿里那么大的访问量怎么统计求和呢？Hadoop就是为了处理这样的问题诞生的。

Hadoop的下载：hadoop官网：http://hadoop.apache.org/

点击Download或者Getting   started均可，选择对应的版本下载，建议hadoop2.x下载

二 Hadoop运行环境搭建前准备

2.1虚拟机准备

关于虚拟机的准备可以查看我在博客中Linux分类下的虚拟机和Linux安装的部分，需要相关软件的，链接:https://pan.baidu.com/s/1NuLTfrRmBNQlPq0bpsd9Ng 提取码:qs2w，百度云链接失效的可以发邮件到我的邮箱[email protected]；我会及时补上。

https://blog.csdn.net/Haidaiya/article/details/81005032

2.2网络配置

网络配置的作用是设置服务器的静态ip，并且使得我们Linux系统可以上网，具体步骤如下图所示

1. 命令行模式下输入vim /etc/sysconfig/network-scripts/ifcfg-eth0
2. 按照修改红色方框中的内容修改

2.3修改Linux主机名称

修改Linux主机的名称是为了让我们在访问服务器的时候更加方便一点，比如说访问baidu时，我们更倾向于访问www.baidu.com，而不是它的IP地址。

修改的步骤如下：

1. hostname查看当前的名称
2. vim /etc/sysconfig/network修改主机名称
3. 将主机名称修改为hadoop101，其实这个名称随意起
4. vim /etc/sysconfig/network，修改主机名称到IP地址的映射
5. 上一部分，设置的ip地址和这里的主机名称对应起来，这样以后访问这个服务器就不要输入ip地址了，直接输入hadoop101就可以访问了。

如有需要也可以在windows下添加映射，这样可以ping通主机名称

三 Hadoop运行环境搭建

3.1 克隆虚拟机

右键虚拟机，管理，克隆

3.2修改静态ip

针对克隆过来的虚拟机

1. 因为虚拟机是直接复制前面一步安装的，所以对于它的网卡部分需要修改
2. 注释下图中的那行，复制物理网卡地址，修改NAME为eth0

配置网络

将上一部中复制的网卡地址复制到下图的位置

3.3修改主机名称（见上）

见2.3

3.4关闭防火墙

service   iptables stop

3.5创建用户wanglei

创建用户useradd    wanglei

指定密码passwd     wanglei

3.6给wanglei配置root权限

给普通用户wanglei配置root权限是为了方便一些操作，因为有些文件夹普通用户打不开。

如果发现这个下图中的文件是只读文件，就是用chmod  744   sudoers命令修改一下，即可编辑这个文件，在文件中添加红色框中的命令。

---

3.7在/opt下新建software存放安装包，module安装软件文件夹

sudo   mkdir  software

sudo   mkdir  module

四 安装JDK和Hadoop

4.1使用xFtp传输jdk的tar包

这里解释一下为什么要安装JDK，因为Hadoop框架是用java写的，没错就是这样，使用Xftp工具将jdk-8u144-linux-x64.tar.gz传输到Linux服务器上的softwar目录，并且将压缩包解压到module目录下，命令如下：tar    -zxvf    jdk-8u144-linux-x64.tar.gz     -C      /opt/module/

配置环境变量，输入vim    /etc/profile  ,  添加两行

export   JAVA_HOME=/opt/module/jdk1.8.0_144

export   PATH=$PATH:$JAVA_HOME/bin

4.2安装Hadoop

步骤与jdk的安装步骤相同，环境变量的配置不同

输入hadoop可以顺利看到这些信息说明hadoop的环境已经基本搭建好了，这里讲的很详细了，但是如果没有Linux基础的话可能还是看的云里雾里，需要提前看一下Linux基础

4.3 总结：hadoop的环境配置是开始最难的一步，需要一定的Linux基础，不然很难理解，我自己也是花了一个月时间将Linux学习了一遍，在配置的时候还是蛮顺利的，这里分享一下我的Linux学习视频

https://www.bilibili.com/video/av31902291/?p=1