hadoop单机版安装

1. 将安装包hadoop-3.1.3.tar.gz上次至linux中

2. 进行解压操作

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/softs/

##tar: 解压打包的命令
##z: 当前压缩类型为.tar. gz
##x: 代表是解压命令
##v: 代表在解压过程中显示执行过程
##f: 代表指定打包后的文件名
##C: 指定解压后的目录

3. 修改目录名称

--替换目录
cd /opt/softs
--修改目录名称
mv hadoop-3.1.3/ hadoop3.1.3/

4. 配置环境变量

--编辑环境变量配置文件
vim /etc/profile

--在文件添加如下配置项
##HADOOP_HOME
export HADOOP_HOME=/opt/softs/hadoop3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

--保存退出后需要使环境变量配置文件的改动生效
source /etc/profile

输出hadoop环境变量 :

echo $HADOOP_HOME

5. 使用官方提供的jar包实现wordcount案例

5.1 准备计算文件

-- 在/opt目录下新建文件存放目录
mkdir /opt/file

-- 切换目录
cd /opt/file

-- 在此目录下新建文件并插入数据
vi wordcount.txt

单词间用逗号分隔

hello java bigdata
hello mysql hadoop
hadoop hello

5.2 使用官方jar包进行单词计算

-- 切换目录
 cd /opt/softs/hadoop3.1.3/share/hadoop/mapreduce
 
-- 语法：hadoop jar 官方jar所在路径 wordcount 计算文件所在路径 输出结果所在路径

 hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/file/wordcount.txt /opt/softs/hadoop3.1.3/output

注意：输出路径对应的文件夹需不存在，执行命令时让它自己创建

5.3 查看计算结果

-- 切换目录
cd /opt/softs/hadoop3.1.3/output/
ll

-- 查看计算结果
cat part-r-00000