HDFS原理（笔记二）

1，HDFS集群存储流程图

流程图解析
1，系统启动过程步骤
①当集群启动时，DN向NN发送一些信息（Block的位置信息、每一个DN的位置信息、DN的心跳信息（DNID）等）
②客户端汇报当前要上传的文件信息（block数量、文件的上传时间、权限、拥有者）
③NameNode向客户端发送ID号、请求存放block的位置
④客户端根据ID号和block的位置进行存储

安全模式
1，加载fsimage，加载到内存中
2，如果edits文件不为空，那么namenode自己来合并
3，检查DN的健康情况
4，如果有DN挂掉了，指挥做备份

问题：
处于安全模式的过程中，能比能读文件内容？
如果fsimage已经加载到内存中，可以查看到文件目录，但无法读取。

切割文件
切割大文件时，采用的是按字节进行切割，切成一个个的block

并行处理
block和备份向DataNode 进行存储时，我们采用的是管道形式，客户端将一个block打成一个个的数据包（packet）源源不断地向DateNode的管道进行发送，那么同一管道的DataNode就可以同时存储一个block了。
权限
权限控制依赖linux系统的用户系统（默认权限）

机架的概念
机架是用来存放管理服务器的，一般来说一个机架上存放10台服务器

2，搭建集群

角色=进程

搭建集群的模式有三种
1，伪分布式
在一台服务器上，启动多个进程，分别表示各个角色
2，完全分布式
在多台服务器上，每台服务器启动不同角色的进程，使用多台服务器组成HDFS集群
node01：namenode
node02：secondarynamenode datanode
node03：datanode
node04：datanoode

注意：block副本数+自己本身<=datanode节点数

3，高可用性的完全分布式
node01：namenode
node02：secondarynamenode datanode
node03：datanode namenode
node04：datanode