hadoop单机版安装

文章目录

    • 1. 将安装包hadoop-3.1.3.tar.gz上次至linux中
    • 2. 进行解压操作
    • 3. 修改目录名称
    • 4. 配置环境变量
    • 5. 使用官方提供的jar包实现wordcount案例

1. 将安装包hadoop-3.1.3.tar.gz上次至linux中

hadoop单机版安装_第1张图片

2. 进行解压操作

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/softs/

##tar: 解压打包的命令
##z: 当前压缩类型为.tar. gz
##x: 代表是解压命令
##v: 代表在解压过程中显示执行过程
##f: 代表指定打包后的文件名
##C: 指定解压后的目录

3. 修改目录名称

--替换目录
cd /opt/softs
--修改目录名称
mv hadoop-3.1.3/ hadoop3.1.3/

4. 配置环境变量

--编辑环境变量配置文件
vim /etc/profile

--在文件添加如下配置项
##HADOOP_HOME
export HADOOP_HOME=/opt/softs/hadoop3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

--保存退出后需要使环境变量配置文件的改动生效
source /etc/profile

hadoop单机版安装_第2张图片

输出hadoop环境变量 :

echo $HADOOP_HOME

hadoop单机版安装_第3张图片

5. 使用官方提供的jar包实现wordcount案例

5.1 准备计算文件

--/opt目录下新建文件存放目录
mkdir /opt/file

-- 切换目录
cd /opt/file

-- 在此目录下新建文件并插入数据
vi wordcount.txt

单词间用逗号分隔

hello java bigdata
hello mysql hadoop
hadoop hello

hadoop单机版安装_第4张图片
5.2 使用官方jar包进行单词计算

-- 切换目录
 cd /opt/softs/hadoop3.1.3/share/hadoop/mapreduce
 
-- 语法:hadoop jar 官方jar所在路径 wordcount 计算文件所在路径 输出结果所在路径

 hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/file/wordcount.txt /opt/softs/hadoop3.1.3/output

注意:输出路径对应的文件夹需不存在,执行命令时让它自己创建

hadoop单机版安装_第5张图片

5.3 查看计算结果

-- 切换目录
cd /opt/softs/hadoop3.1.3/output/
ll

-- 查看计算结果
cat part-r-00000

hadoop单机版安装_第6张图片

你可能感兴趣的:(Linux,大数据,hadoop,大数据,mapreduce)