Hadoop | Hadoop本地模式安装部署

准备工作(Preparatory Work )

hadoop下载   下载过程链接:https://www.jianshu.com/p/a28e2305a48c


本地部署过程(Deployment Process)

下载hadoop安装包后不作任何设置,默认的就是本地模式

本地模式最简单,使用的是本地文件系统,而不是HDFS

主要用于本地开发过程的运行调试

step1:创建存放本地模式的hadoop目录

输入:mkdir   /opt/modules/hadooplocal       创建文件

step2:解压 hadoop安装包

hadoop 安装包解压就可以直接用

输入:tar  -zxf  /opt/software/hadoop-2.2.0.tar.gz  -C  /opt/modules/hadooplocal/ 

将存放在 /opt/software/ 目录下的安装包hadoop-2.2.0.tar.gz 解压到 /opt/modules/hadooplocal/  目录下

在opt/modules/hadooplocal/  目录下可用命令   ls  查看文件

step3:检查JAVA_HOME环境变量是否配置好

输入:echo  ${JAVA_HOME}         查看java环境变量

若没有安装jdk或还未配置java环境变量,请看链接: https://www.jianshu.com/p/cff2b88883e4




用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce

step1: 创建mapreduce的输入文件 wc.input

输入:  cd /opt/data/         进入目录下

输入:  vim  wc.input       当 wc.input 文本不存在时,vim直接创建

打开文本后,按 i 键进入Inter编辑模式,输入内容

按Esc键退出编辑模式,按  :wq   保存并退出

step2:利用hadoop自带的mapreduce Demo 运行hadoop

输入:  cd  /opt/modules/hadooplocal/hadoop-2.2.0       找到 hadoop的安装目录

Hadoop | Hadoop本地模式安装部署_第1张图片

mapreduce Demo 存放在 share/hadoop/mapreduce/ 目录下

hadoop-mapreduce-examples-2.2.0.jar 是一个单词统计的功能

Hadoop | Hadoop本地模式安装部署_第2张图片

输入:  bin/hadoop  jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar   wordcount   /opt/data/wc.input    output1     

运行功能的 .jar 包,wordcount是jar包需要运行的主类,wc.input 为输入的文本参数,输出结果保存到output1目录下

Hadoop | Hadoop本地模式安装部署_第3张图片
Hadoop | Hadoop本地模式安装部署_第4张图片
Hadoop | Hadoop本地模式安装部署_第5张图片

Hadoop命令会启动一个JVM来运行这个MapReduce程序,并自动获得Hadoop的配置,同时把类的路径(及其依赖关系)加入到Hadoop的库中

Hadoop Job的运行记录中,可知输入文件有1个(Total input paths to process:1)

这个Job被赋予了一个ID号:job_local953093661_0001,且job ID中有local字样,说明运行在本地模式下

同时还可以看到map和reduce的输入输出记录(record数及字节数)

step3:查看输出文件

输入:   ll output1               输出目录中有_SUCCESS文件说明JOB运行成功,part-r-00000是输出结果文件

输入:    bin/hadoop   fs  -cat   output1/part-r-00000                查看part-r-00000输出文件统计结果

Hadoop | Hadoop本地模式安装部署_第6张图片

你可能感兴趣的:(Hadoop | Hadoop本地模式安装部署)