Hadoop 伪分布式配置流程

配置环境在Ubuntu下,使用jdk8+Hadoop2.8.5。
在配置的过程中出现了各种各样的错误,最终解决了。
过程如下:
1,安装Java JDK
$ java
出现相应的jdk版本 default-Java Java-openjdk8-healess等等。
$sudo apt-get install [版本]
2.配置环境变量
sudo gedit /etc/profile
输入以下内容:在这里插入图片描述
验证jdk是否成功 Java -version
在这里插入图片描述
3 配置ssh免密登录
在这里插入图片描述
安装后 使用以下命令
$ ssh localhost
首次登录会有密码提示,此时会有提示enter键3次
在这里插入图片描述
然后在$ ssh localhost 出现
Hadoop 伪分布式配置流程_第1张图片
设置ssh成功
4.hadoop 安装
通过[http://mirror.bit.edu.cn/apache/hadoop/common/]下载
$sudo tar -zxf 下载/Hadoop-2.8.5.tar.gz -C /usr/local 解压文件
sudo mv /usr/local/hadoop-2.8.5 hadoop 将文件夹改名Hadoop
查看Hadoop版本信息:
$cd /usr/local/hadoop
$bin/hadoop version
Hadoop 伪分布式配置流程_第2张图片
hadoop 环境变量设置
在这里插入图片描述
配置相应的文件Hadoop-env.sh
在这里插入图片描述
core-site.xml
Hadoop 伪分布式配置流程_第3张图片
hdfs-site.xml
Hadoop 伪分布式配置流程_第4张图片
配置结束后:对NameNode格式化
.bin/hdfs namenode -format
Hadoop 伪分布式配置流程_第5张图片
开启NameNode datenode 进程
$ sbin/start-all.sh
Hadoop 伪分布式配置流程_第6张图片
使用$ jps查看是否成功
Hadoop 伪分布式配置流程_第7张图片
若没有出现NameNode 检查原因
执行http://localhost:50070
Hadoop 伪分布式配置流程_第8张图片
成功了。
关闭Hadoop:$sbin/stop-all.sh
1.。。若没有配置成功,请执行
$rm -r ./tmp 删除tmp文件。
2.。。若出现Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.
我检查过配置文件,没有出现错误。我又重新配置了一遍,问题解决了。

你可能感兴趣的:(Hadoop学习)