1、网络配置问题:
在centos7中配置网络环境后,本机(win10系统)与虚拟机centos7网络不通(本机可以ping通虚拟机,但是虚拟机ping不通本机);
解决方式:
方式1:查看本机win10系统的防火墙是否关闭,若没有,直接关闭win10系统的防火墙即可;
方式2:修改本机配置:windows防火墙-高级设置-入站规则-虚拟机监控(回显请求-ICMPv4-Ln),把这项启用即可。
2、创建的hadoop用户,无法正常登陆,每次使用hadoop用户操作都提示登陆密码错误或者没有权限
解决方式:
对新增的用户hadoop进行授权。
若还是不行的话,重新修改hadoop的密码。
3、设置集群虚拟机中ssh无密码登陆过程中,配置ssh免密码登陆后,还提示输入密码;
解决方式:查看系统的日志文件:tail /var/log/secure -n 20 如下所示:
提示目录的属主和权限配置不当,因ssh不希望/home/Hadoop目录对组有读写权限;
通过chmod go-rw /home/Hadoop 重新登陆,提示不用输入密码。
4、安装hadoop后,运行hadoop实例过程中若提示
是由于hadoop用户没有访问/usr/local/hadoop目录
解决方式:
修改文件的所属者及所属组即可
Chown Hadoop /usr/local/Hadoop
Chgrp Hadoop /usr/local/Hadoop。
5、启动Hadoop之前进行格式化namenode时候,hdfs namenode -format,提示:Exitting with status 1;
解决方式:
查看配置文件hdfs-site.xml文件是否配置正确,是否把dfs.namenode.name.dir路径配置正确
6、启动hadoop过程中,提示:
解决方式:
打开hadoop-env.sh文件(hadoop安装目录中的etc/hadoop下面),修改JAVA_HOME路径;
把export JAVA_HOME=${JAVA_HOME}修改为
export JAVA_HOME=/opt/java/jdk1.8.0.131(自己的jdk的安装路径)。
7、运行实例过程中,创建用户目录时,提示:
解决方式:
在HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中添加如下信息:
export HADOOP_ROOT_LOGGER=DEBUG.console
查看目录是否创建成功,可使用命令 Hadoop fs -ls 目录文件 进行查看。
8、复制文件过程中,提示(如:put: `/user/hadoop/input': No such file or directory);
解决方式:使用hdfs dfs -mkdir -p /目录文件 依次创建所需的目录文件。
9、启动集群过程中,提示如下:
解决方式:
查看两个分节点java的环境变量是否配置正确(配置过程中目录名称写错)。
10、在搭建集群环境中需要修改的配置文件有:
Core-site.xml:hadoop的核心配置文件;
Hdfs-site.xml:用户配置nameNode的url以及NameNode和DataNode的存放为止;
Mapred-site.xml:mapreduce相关配置;
Yarn-site.xml:配置资源管理系统的yarn;
Slaves:配置DataNode的主机名。
注意:以上配置文件,在搭建hadoop集群过程中,各节点的配置文件需要保持一致。