(一)软件准备
1.虚拟机 VMware-workstation-full-12.5.7.20721
2.Linux系统 CentOS-7-x86_64-Everything-1503-01
3.linux系统远程连接工具 SecureCRT 7
4.java环境JDK jdk-8u151-linux-x64.tar
5.hadoop软件包 hadoop-2.6.5.tar
(二)软件安装和环境配置
1.vmvare虚拟机安装 网上教程很多,安装简单
2.centOs 7安装教程很多,linux新手注意选择Everything版本安装,等玩熟了linux可以选择mini版安装
安装完成如上图所示,可以用组合键ctrl+alt+f1和ctrl+alt+f2在窗口界面和shell界面切换。博主现切换到shell界面。
下面对centOs进行简单的配置,用以安装hadoop做准备。
(1)修改网络配置,将主机的内网ip固定
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
主要需注意修改的如下:
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.104
(2)关闭防火墙
systemctl stop firewalld.service
同时关闭防火墙的开机自动启动选项
systemctl disable firewalld.service
至此,linux基本环境配置完成。
3安装secureCRT 7,这个工具主要是用于更方便的操作vmvare里面的linux机,网上安装教程很多。
4.安装jdk
博主的操作如下:
mkdir /usr/JAVA 新建一个java文件夹
tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/JAVA 将jdk解压安装到此目录文件夹
vi /etc/profile 配置java环境变量
插入如下
java -version 检验java是否安装成功
出现如下则配置java成功。
5.安装hadoop
mkdir /bigdate 新建一个文件夹用来安装hadoop
tar -zxvf hadoop-2.6.5.tar.gz -C /bigdate 将hadoop解压到新建的bigdate文件夹下
可以看到解压完成 。
在进行如下操作,
可以看到,hadoop安装好的文件夹下面有几个比较重要的文件夹,其中,对etc 文件夹下面存有hadoop配置的相关文件。我们可以进去看看etc文件夹下有哪些文件
可以卡的有好多配置文件。
我们主要需要配置5个文件!
第一个:hadoop-env.sh 25行地方,配置我们的java_home
第二个:core-site.xml 主要完成configration里面的配置
第三个:修改hdfs-site.xml
第四个:mapred-site.xml
第五个:yarn-site.xml
至此,我们hadoop的配置完成。
下面我们对hdfs初始化(格式化hdfs的namenode)
./hdfs namenode -format
直到我们看到图片中额第一行所示,has been successfully formatted才算初始化成功。
接着我们启动hdfs
sbin/start-dfs.sh
再用jps查看我们的java进程,有了四个,其中三个为hdfs的进程。
我们在宿主机的浏览器中输入http://192.168.0.104:50070/,可以看到
说明我们的hdfs已经启动!
sbin/start-yarn.sh 再启动yarn,
在宿主机的网页浏览器上输入 http://192.168.0.104:8088/
可以看到
说明我们的yarn也已经启动!至此,伪分布式的hadoop已经安装完成!