Linux安装hadoop 2.9.1(伪分布式模式 快速安装体验Hadoop hdfs)

在安装Hadoop之前我已经预先安装了jdk8且配置好了环境变量

去Hadoop官网下载hadoop-2.9.1.tar.gz

选定一个目录解压，命令：tar -zxvf hadoop-2.9.1.tar.gz
这里建议把hadoop-2.9.1文件夹重命名为 hadoop
把Hadoop文件夹 复制到 /usr/local/下 命令: cp -r hadoop /usr/local/
如果不加 -r 会报错 是因为hadoop下有子文件夹

配置Hadoop 环境变量
在/etc/profile文件添加
HADOOP_HOME=/home/hadoop-2.9.0
PATH= PATH: P A T H : HADOOP_HOME/bin:$HADOOP_HOME/sbin

Hadoop配置文件修改
core-site.xml



fs.defaultFS
hdfs://10.1.204.22:9000
hdfs的访问路径



hadoop.tmp.dir
/home/mobvoi/workspace/workspace/hadoop-2.9.0/tmp
运行临时文件的主目录

hdfs-site.xml



dfs.replication
1


dfs.namenode.name.dir
/home/hadoop/tmp


dfs.datanode.data.dir
/home/hadoop/tmp

配置文件修改说明：
Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。
此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。

hadoop-env.sh mapred-env.sh yarn-env.sh 这三个文件需要添加
export JAVA_HOME=/usr/java/jdk1.8.0

配置完成后，格式化NameNode
bin/hadoop namenode -format

接着执行以下命令开启namenode和datanode的守护进程
sbin/start-dfs.sh
如果提示ssh连接，直接输入yes就好
会有三次提示输入密码，看到了直接输入就好

启动完成后输入jps判断是否启动成功，会有类似如下提示
4719 Jps
4754 SecondaryNameNode
4598 DataNode
4438 NameNode

这个时候就成功的把Hadoop安装好了。

我们可以在浏览器上输入http://localhost:50070 查看NameNode和Datanode信息，还可以在线查看HDFS中的文件