centos7 搭建Hadoop单机版

配置java环境

这里配置的jdk1.8

https://blog.csdn.net/qq_41020714/article/details/88529827

---

上述准备工作做好后

一：创建Hadoop账号

1. 通过useradd添加用户（创建新用户hadoop）：

useradd -m hadoop -s /bin/bash

2.为新用户设置密码

passwd hadoop

3.给Hadoop用户添加管理员权限

visudo

找到root ALL=（ALL）ALL这一行，一般在98行附近，然后在这一行下面增加指令：

查看行数：

：set nu

hadoop  ALL=(ALL)       ALL    #中间的间隔为tab

保存退出

4.切换到Hadoop用户

su hadoop

二：配置SSH无密码登陆

1.检查服务器上是否安装和SHH client、SHH server：

rpm -qa | grep ssh

如上图就不用安装，否则，可以通过yum进行安装：

sudo yum –y install openssh-clients

sudo yum –y install openssh-clients

2.测试SHH是否可用

ssh localhost

首次登陆会有提示，输入yes即可，然后按提示输入账号密码即可。

上述有密码登陆的方式

3.配置SHH无密码登陆：

输入exit回到原先的终端命令窗口，执行以下命令：

cd ~/.ssh/                             #若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa                     #会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys     #加入授权
chmod 600 ./authorized_keys             #修改文件权限

三：安装配置hadoop单机版

1.下载hadoop 2.6.5

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/

2.pwd查看当前目录，将压缩包上传到此目录下

3.解压

我选择将hadoop安装至/usr/local/中：

sudo tar -zxf /home/hadoop/hadoop-2.6.5.tar.gz -C /usr/local

4.解压成功后进入/usr/local中查看

cd /usr/local/

5.更改文件名

sudo mv ./hadoop-2.6.5/ ./hadoop

6.修改文件权限

sudo chown -R hadoop:hadoop ./hadoop

7.Hadoop 解压后即可使用。依次输入如下命令来检查 hadoop 是否可用，成功则会显示 Hadoop 版本信息。

cd /usr/local/hadoop #去到hadoop目录

./bin/hadoop version #检查hadoop是否可以使用

四：进行单机版测试

Hadoop 默认模式为非分布式模式，不需要进行其他任何配置即可运行。非分布式即单 Java 进程，方便进行调试。

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar

可以看到所有例子，包括wordcount、terasort、join、grep等：

为了测试，我们选择运行一个 grep 例子（查找），将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

1.cd到hadoop目录下：

cd /usr/local/hadoop

2.新建一个input文件夹：

mkdir input

3.将配置文件作为输入文件：

cp ./etc/hadoop/*.xml ./input

4.筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，并输出到output文件夹

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar  grep ./input/ ./output 'dfs[a-z.]+'

5.查看output中的运行结果：

cat ./output/*

出现结果则hadoop单机版就配置成功！

 

参考文献：https://blog.csdn.net/qq_41521180/article/details/88311299