【hadoop】部署hadoop的本地模式

本地模式的特点

1. 没有HDFS、也没有Yarn
2. 只能测试MapReduce程序，作为一个普通的Java程序
3. 处理的数据是本地Linux的文件
4. 一般用于开发和测试

部署本地模式

进入该路径 /root/training/hadoop-2.7.3/etc/hadoop（$HADOOP_HOME/etc/hadoop）找到hadoop-env.sh文件

对hadoop-env.sh文件进行编辑

vi hadoop-env.sh

在文件中，使用:set number显示出行号

找到第25行

将${JAVA_HOME}改成你自己的jdk的路径

export JAVA_HOME=/root/training/jdk1.8.0_181

本地模式已经部署完成了，下面进行测试

测试本地模式是否部署完成

先准备测试的数据

I love Beijing
I love China
Beijing is the capital of China

下面执行WordCount程序，会对上面的文件进行词频统计

该程序的jar包位置：

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

找到该jar包的位置（training/hadoop-2.7.3/share/hadoop/mapreduce/）

执行下面的命令

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp /root/output/wc

执行完成后，查看输出的结果