搭建hadoop伪分布式集群环境过程中遇见的问题总结

1、网络配置问题：

在centos7中配置网络环境后，本机（win10系统）与虚拟机centos7网络不通（本机可以ping通虚拟机，但是虚拟机ping不通本机）；

解决方式：

方式1：查看本机win10系统的防火墙是否关闭，若没有，直接关闭win10系统的防火墙即可；

方式2：修改本机配置：windows防火墙-高级设置-入站规则-虚拟机监控（回显请求-ICMPv4-Ln），把这项启用即可。

2、创建的hadoop用户，无法正常登陆，每次使用hadoop用户操作都提示登陆密码错误或者没有权限

解决方式：

对新增的用户hadoop进行授权。

 输入visudo 找到98行添加

若还是不行的话，重新修改hadoop的密码。

3、设置集群虚拟机中ssh无密码登陆过程中，配置ssh免密码登陆后，还提示输入密码；

解决方式：查看系统的日志文件：tail /var/log/secure -n 20 如下所示：

提示目录的属主和权限配置不当，因ssh不希望/home/Hadoop目录对组有读写权限；

通过chmod go-rw /home/Hadoop 重新登陆，提示不用输入密码。

4、安装hadoop后，运行hadoop实例过程中若提示

是由于hadoop用户没有访问/usr/local/hadoop目录

解决方式：

修改文件的所属者及所属组即可

Chown Hadoop /usr/local/Hadoop

Chgrp Hadoop /usr/local/Hadoop。

5、启动Hadoop之前进行格式化namenode时候，hdfs namenode -format，提示：Exitting with status 1；

解决方式：

查看配置文件hdfs-site.xml文件是否配置正确，是否把dfs.namenode.name.dir路径配置正确

6、启动hadoop过程中，提示：

解决方式：

打开hadoop-env.sh文件（hadoop安装目录中的etc/hadoop下面），修改JAVA_HOME路径；

把export  JAVA_HOME=${JAVA_HOME}修改为

export  JAVA_HOME=/opt/java/jdk1.8.0.131(自己的jdk的安装路径)。

7、运行实例过程中，创建用户目录时，提示：

解决方式：

在HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中添加如下信息：

export HADOOP_ROOT_LOGGER=DEBUG.console

查看目录是否创建成功，可使用命令 Hadoop fs -ls 目录文件   进行查看。

8、复制文件过程中，提示（如：put: `/user/hadoop/input': No such file or directory）；

解决方式：使用hdfs dfs -mkdir -p /目录文件   依次创建所需的目录文件。

9、启动集群过程中，提示如下：

解决方式：

 查看两个分节点java的环境变量是否配置正确（配置过程中目录名称写错）。

10、在搭建集群环境中需要修改的配置文件有：

Core-site.xml：hadoop的核心配置文件；

Hdfs-site.xml：用户配置nameNode的url以及NameNode和DataNode的存放为止；

Mapred-site.xml：mapreduce相关配置；

Yarn-site.xml：配置资源管理系统的yarn；

Slaves:配置DataNode的主机名。

注意：以上配置文件，在搭建hadoop集群过程中，各节点的配置文件需要保持一致。