Hadoop之——随笔(基于Hadoop-2.4.1)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51316923

*****副本存放策略:


1、先在客户端所连接的datanode上存放一个副本
2、再在另一个机架上选择一个datanode存放第二个副本
3、最后在本机架上根据负载情况随机挑选一个datanode存放第三个副本

****副本数量的配置优先级

1、服务端hdfs-site.xml中可以配置
2、在客户端指定dfs.replication的值
客户端所指定的值优先级更高!!!

****DataNode定期向NameNode汇报自身所存储的block信息

----------性感的分割线------------
hadoop集群启动常见异常
1、hadoop节点的本地工作目录访问异常(权限)
2、namenode处于安全模式,导致无法上传数据
namenode在刚刚启动的时候处于安全模式不一定是异常,但是如果启动完成之后一直不退出安全模式,就有问题,可以用以下指令尝试手动退出    hdfs namenode -safemode leave  
如果退出不成功,可以查看日志信息或者关闭重启
3、start-dfs.sh后,直接上传文件,发现上传失败抛出异常
排查异常的步骤:
--应该用jps查看一下进程是否正常:namenode  datanode  secondarynamenode
如果相关进程不存在,查看相关进程的日志文件来分析错误
--如果进程都存在,还存在问题,有可能是进程间的集群协调有问题
hdfs dfsadmin -report  来查看集群的信息

--实在找不到线索,删除tmp目录,然后重新用命令hadoop namenode -format格式化,启动

你可能感兴趣的:(hadoop,异常,安全,存储,NameNode)