HDFS原理学习笔记

一：NameNode主要功能，接受客户端的读写服务。

1：NameNode保存metadata信息包括，

1）文件owership和permission信息

2）文件包含哪些块

3）Block保存在哪个DataNode上面（右DataNode启动时上报）

NameNode的metadata在启动后会加载到内存中，

1）metadata存储在fsimage中

2）block信息不回存储在fsimage中

3）edits记录metadata的操作日志

二：secondNameNode用于合并edits和fsimage。

为什么NameNode不自己合并edits和fsimage呢？因为合并需要将edits和fsimage全部加载到内存中，一条一条读取edits，而NameNode的主要工作是接受客户端的读写操作。

1：SecondNameNode的主要作用是减少NameNode的启动时间。

2：SecondNameNode不是NameNode的备份，但是当SecondNameNode正在合并的时候，也有备份一部分的功能，（需要其他方式备份NameNode）

三：HDFS的读写流程

读写的时候根据名字来进行权限认真

写数据的时候，分块是在客户端进行的，写块的时候，顺序写的，一个块写完了，才会进行下一个块的写。

读取文件一点一点的读的，顺序的来读的，没有并发。

hdfs默认是没有密码认真的，可以通过第三方软件来配合。

四：ntpdate 用于同步时间，etc/hosts配置服务器名字，直接配ip地址好像要出问题。

五：vmware快照，可以恢复到系统原来的状态，