搭建hadoop伪分布式集群环境过程中遇见的问题总结

1、网络配置问题:

在centos7中配置网络环境后,本机(win10系统)与虚拟机centos7网络不通(本机可以ping通虚拟机,但是虚拟机ping不通本机);

解决方式:

方式1:查看本机win10系统的防火墙是否关闭,若没有,直接关闭win10系统的防火墙即可;

方式2:修改本机配置:windows防火墙-高级设置-入站规则-虚拟机监控(回显请求-ICMPv4-Ln),把这项启用即可。

2、创建的hadoop用户,无法正常登陆,每次使用hadoop用户操作都提示登陆密码错误或者没有权限

解决方式:

对新增的用户hadoop进行授权。

 输入visudo 找到98行添加

若还是不行的话,重新修改hadoop的密码。

3、设置集群虚拟机中ssh无密码登陆过程中,配置ssh免密码登陆后,还提示输入密码;

解决方式:查看系统的日志文件:tail /var/log/secure -n 20 如下所示:

提示目录的属主和权限配置不当,因ssh不希望/home/Hadoop目录对组有读写权限;

通过chmod go-rw /home/Hadoop 重新登陆,提示不用输入密码。

4、安装hadoop后,运行hadoop实例过程中若提示

是由于hadoop用户没有访问/usr/local/hadoop目录

解决方式:

修改文件的所属者及所属组即可

Chown Hadoop /usr/local/Hadoop

Chgrp Hadoop /usr/local/Hadoop。

5、启动Hadoop之前进行格式化namenode时候,hdfs namenode -format,提示:Exitting with status 1

解决方式:

查看配置文件hdfs-site.xml文件是否配置正确,是否把dfs.namenode.name.dir路径配置正确

6、启动hadoop过程中,提示:

解决方式:

打开hadoop-env.sh文件(hadoop安装目录中的etc/hadoop下面),修改JAVA_HOME路径;

把export  JAVA_HOME=${JAVA_HOME}修改为

export  JAVA_HOME=/opt/java/jdk1.8.0.131(自己的jdk的安装路径)。

7、运行实例过程中,创建用户目录时,提示:

解决方式:

HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中添加如下信息:

export HADOOP_ROOT_LOGGER=DEBUG.console

查看目录是否创建成功,可使用命令 Hadoop fs -ls 目录文件   进行查看。

8、复制文件过程中,提示(如:put: `/user/hadoop/input': No such file or directory);

解决方式:使用hdfs dfs -mkdir -p /目录文件   依次创建所需的目录文件。

9、启动集群过程中,提示如下:

解决方式:

 查看两个分节点java的环境变量是否配置正确(配置过程中目录名称写错)。

10、在搭建集群环境中需要修改的配置文件有:

Core-site.xml:hadoop的核心配置文件;

Hdfs-site.xml:用户配置nameNode的url以及NameNode和DataNode的存放为止;

Mapred-site.xml:mapreduce相关配置;

Yarn-site.xml:配置资源管理系统的yarn;

Slaves:配置DataNode的主机名。

注意:以上配置文件,在搭建hadoop集群过程中,各节点的配置文件需要保持一致。

 

你可能感兴趣的:(hadoop相关工具)