hadoop安装配置过程遇到的问题

最近学习了hadoop的入门课程,尝试安装了一下hadoop。这个过程并不是一帆风顺,但通过自己琢磨和上网搜索基本完成了配置。我记录了过程中遇到的问题,作为我的第一篇博客。

我学习的[相关资源](https://pan.baidu.com/s/1s6Yexqp3AhrrNSgLeXmzWQ)密码:vh93
[参考博客](https://blog.csdn.net/qq_25838777/article/details/80732854)。

无法启动start-dfs.sh

打开 .bashrc文件
输入命令:

vim .bashrc

添加一行:

PATH=$PATH:/usr/local/hadoop/sbin

(这行代码告诉bash应该去这个目录去找这个文件)。
输入命令:

source $HOME/.bashrc

无法打开50070等端口

在windows中添加映射到hosts。
hosts文件位置: c:\windows\system32\drivers\etc

hadoop集群启动namenode成功,而datanode未启动

出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

解决方法
修改VERSION文件。
在namenode节点上打开:
进入hadoop-2.4.1/tmp/dfs/name/current/
打开VERSION:

vi VERSION

复制clustreID的值
打开datanode1节点:
进入hadoop-2.4.1/tmp/dfs/data/current/
打开VERSION: vi VERSION
粘贴clustreID的值

HA集群部署细节

在部署HA集群时,参照视频我一共部署了七台。第一台部署正常安装jdk、hadoop、关闭防火墙,然后复制六台。在复制后每台主机要修改主机名,配置IP地址。
修改主机名
执行命令 :

vim /etc/sysconfig/network

修改ip地址
IP地址配置:

  1. 输入命令:

vi /etc/udev/rules.d/70-persistent-net.rules

将该文件中第一个etho删除, 并将第二个eth1 改为 ehto , 复制他的mac地址。hadoop安装配置过程遇到的问题_第1张图片
2. 输入命令:

vi /etc/sysconfig/network-scripts/ifcfg-eth0

进入这个文件,将其中的HWADDR 改为刚才复制的mac地址,同时修改IPADDR的值。hadoop安装配置过程遇到的问题_第2张图片

.

你可能感兴趣的:(hadoop安装配置过程遇到的问题)