架构设计
NameNode
NameNode： 文件系统的命名空间(面试题)
1.文件名称
2.文件目录结构
3.文件的属性(权限 创建时间 副本数)
4.文件对应哪些数据块-->数据块对应哪些分布在哪些DN节点上 列表
不会持久化存储这个映射关系，是通过集群的启动和运行时，DataNode定期发送blockReport给NameNode，以此NameNode在【内存】中动态维护这种映射关系。
作用：管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。
这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件fsimage和编辑日志文件editlog。
DataNode
存储:数据块和数据块校验和
与Namenode通信:
每隔3秒发送一个心跳包
每十次心跳发送一次blockReport
作用(主要):读写文件的数据块
Scondary NameNode
。存储:命名空间镜像文件fsimage 和 编辑日志editlog
。 作用:定期合并fsimage+editlog文件为新的fsimage推送给namenode.俗称检查点动作,checkpoint.
。 参数:hdfs-default.xml文件
dfs.namenode.checkpoint.period: 3600 秒
副本放置策略
第一副本：放置在上传文件的DataNode上；如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上
第二副本：放置在与第一个副本不同的机架的节点上
第三副本：与第二个副本相同机架的不同节点上
如果还有更多的副本：随机放在节点中
读写流程
HDFS读流程
Client调用FileSystem.create()方法，去与Namenode进行rpc通信，check该路径的文件是否存在以及有没有权限创建该文件，假如ok，就创建一个新文件，但是并不关联任何block，返回一个FSDataOutputStream对象；假如not ok，就返回错误信息,所以写代码要try-catch
Client调用FSDataOutputStream.write()方法
将第一个块写入第一个Datanode，第一个Datanode写完传给第二个节点，第二个写完传给第三节点，当第三个节点写完返回一个ackpacket给第二个节点，第二个返回一个ackpacket给第一个节点，第一个节点返回ackpacket给FSDataOutputStream对象，意思标识第一个块写完，副本数为3；然后剩余的块依次这样写
当向文件写入数据完成后,Client调用FSDataOutputStream.close()方法,关闭输出流,flush缓存区的数据包;
再调用FileSystem.complete()方法,告诉Namenode节点写入成功
进程
通过jps命令查看进程
NameNode SecondaryNameNode DataNode
其各自进程会生成一个对应的pid文件
jps查看进程
[hadoop@hadoop1 ~]$ jps
54450 Jps
10611 NodeManager
5720 NameNode
6030 SecondaryNameNode
5823 DataNode
10511 ResourceManager
[hadoop@hadoop1 ~]$
[hadoop@hadoop1 ~]$ which jps
/usr/java/jdk1.8.0_45/bin/jps
[hadoop@hadoop1 ~]$
[root@hadoop1 ~]# cd /tmp/hsperfdata_hadoop/
[root@hadoop1 hsperfdata_hadoop]# ll
total 160
-rw-------. 1 hadoop hadoop 32768 Dec 17 10:11 10511
-rw-------. 1 hadoop hadoop 32768 Dec 17 10:11 10611
-rw-------. 1 hadoop hadoop 32768 Dec 17 10:11 5720
-rw-------. 1 hadoop hadoop 32768 Dec 17 10:11 5823
-rw-------. 1 hadoop hadoop 32768 Dec 17 10:11 6030
正常流程
[root@hadoop1 hsperfdata_hadoop]# jps
10611 -- process information unavailable
6325 jar
54487 Jps
5720 -- process information unavailable
6030 -- process information unavailable
5823 -- process information unavailable
10511 -- process information unavailable
[root@hadoop1 hsperfdata_hadoop]# ps -ef |greo 10611
找到该进程的使用用户名称
[root@hadoop1 hsperfdata_hadoop]# su - hadoop
[hadoop@hadoop1 ~]$ jps
10611 NodeManager
5720 NameNode
54524 Jps
6030 SecondaryNameNode
5823 DataNode
10511 ResourceManager
[hadoop@hadoop1 ~]$
异常流程
[root@hadoop1 rundeck]# jps
10611 -- process information unavailable
6325 jar
5720 -- process information unavailable
6030 -- process information unavailable
54591 Jps
5823 -- process information unavailable
10511 -- process information unavailable
[root@hadoop1 rundeck]#
[root@hadoop1 rundeck]# kill -9 10611
[root@hadoop1 rundeck]# jps
10611 -- process information unavailable
6325 jar
5720 -- process information unavailable
54605 Jps
6030 -- process information unavailable
5823 -- process information unavailable
10511 -- process information unavailable
[root@hadoop1 rundeck]# ps -ef|grep 10611
root 54618 48324 0 10:15 pts/1 00:00:00 grep 10611
[root@hadoop1 rundeck]#
10611信息残留，去/tmp/hsperfdata_hadoop文件夹删除该10611文件
[root@hadoop1 hsperfdata_hadoop]# ll
total 160
-rw-------. 1 hadoop hadoop 32768 Dec 17 10:17 10511
-rw-------. 1 hadoop hadoop 32768 Dec 17 10:15 10611
-rw-------. 1 hadoop hadoop 32768 Dec 17 10:17 5720
-rw-------. 1 hadoop hadoop 32768 Dec 17 10:17 5823
-rw-------. 1 hadoop hadoop 32768 Dec 17 10:16 6030
[root@hadoop1 hsperfdata_hadoop]# rm -f 10611
[root@hadoop1 hsperfdata_hadoop]#
[root@hadoop1 hsperfdata_hadoop]# jps
54626 Jps
6325 jar
5720 -- process information unavailable
6030 -- process information unavailable
5823 -- process information unavailable
10511 -- process information unavailable
[root@hadoop1 hsperfdata_hadoop]# su - hadoop
[hadoop@hadoop1 ~]$ jps
54661 Jps
5720 NameNode
6030 SecondaryNameNode
5823 DataNode
10511 ResourceManager
[hadoop@hadoop1 ~]$
hadoop和hdfs文件系统命令
hadoop fs 等价 hdfs dfs
[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -ls /
[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -mkdir -p /rzdatadir001/001
[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -cat /test.log
[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -put rzdata.log1 /rzdatadir001/001
[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -get /rzdatadir001/001/rzdata.log1 /tmp/
[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -get /rzdatadir001/001/rzdata.log1 /tmp/rzdata.log123 重命名
[-moveFromLocal ... ]
[-moveToLocal ]
配置回收站
[-rm [-f] [-r|-R] [-skipTrash] [-safely] ...]
core-site.xml
fs.trash.interval : 10080
//测试
bin/hdfs dfs -rm -r -f /xxxx ---》进入回收站，是可以恢复的
bin/hdfs dfs -rm -r -f -skipTrash /xxxx ---》不进入回收站，是不可以恢复的