Hadoop 3.x+快速入门（从安装配置到官方demo）

参考资料： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

环境说明

• 配置好网络的虚拟机（或云服务器），系统是CentOS 7
• Hadoop 的版本号是 3.1.2

安装 openjdk

$ sudo yum -y install java-1.8.0-openjdk

配置环境变量

编辑 /etc/profile 文件，在其后面添加内容如下：

$ export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-0.el7_6.x86_64/jre

输入source命令，让配置文件生效。

$ source /etc/profile

启动首个Hadoop

# 添加目录
$ mkdir input
# 添加配置文件
$ cp etc/hadoop/*.xml input
# 执行这个jar文件，并且grep 'dfs'开头的字符串
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar grep input output 'dfs[a-z.]+'
# 需要几秒钟执行完后，查看效果
$ cat output/*

如果没有问题的话，可以看到内容如下：

1	dfsadmin

为了让看到效果更明显，可以再次玩几次，改为以 ‘d’ 字母开头的字符串。

# 删除已经生成的内容
$ rm -rf output/
# grep 以 d字母开头的字符串
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar grep input output 'd[a-z.]+'
# 查看效果
$ cat output/*

可以看到效果如下：

114	description
31	d.
28	der
19	distributed
15	de
15	default
9	doop.kms.acl.
7	ding
6	des
6	delay
5	demanager
5	dmin
4	ds.
4	default.key.acl.
......

总结

初次运行Hadoop，先体验一下效果，再慢慢学习。

Smileyan

2019年9月13日 10:54