2. HDFS架构

HDFS是主/从架构。
一个HDFS集群有一个NameNode进程，它负责管理文件系统的命名空间，这里所说的命名空间是指一种层次化的文件组织形式。

NameNode进程控制被客户端访问的文件，运行NameNode进程的节点是HDFS的主节点。

HDFS还有许多DataNode进程，通常集群中除NameNode外的每个节点都运行一个DataNode进程，它管理所在节点上的存储。

运行DataNode进程的节点是HDFS的从节点，又称工作节点。

HDFS维护一个文件系统命名空间，并允许将用户数据存储到文件中。

在系统内部，一个文件被分成多个数据块，这些数据块实际被存储到DataNode所在节点上。

NameNode不仅执行文件系统命名空间上的打开文件、关闭文件、文件和目录重命名等操作，还要维护数据块到DataNode节点的映射关系。

DataNode不仅负责响应文件系统客户端的读写请求，还依照NameNode下达的指令执行数据块的创建、删除和复制等操作。

HDFS支持传统的层次形文件组织。用户或应用可以创建目录，也可以在目录中存储文件。

HDFS支持配置用户配额和访问权限，但不支持软连接和硬连接。

应用可以指定一个HDFS文件的副本数。文件的副本数被称为该文件的复制因子，这个信息被NameNode存储。