HDFS简介与常用API

HDFS简介

        HDFS是一个文件系统（Hadoop Document File System），通过目录树来定位文件。其次，它是分布式的。

HDFS适用于：一次写入，多次读出的场景。

                HDFS通过多种方式，实现了高容错性、可靠性、适合处理大数据

 HDFS缺点：

            1.不适合低延时的数据访问。

            2.无法高效的对大量小文件进行存储

            （占用过多NameNode的内存用于存储文件目录和块信息）

            3.不支持并发写入，文件随机修改。（比较适用Append，追加数据）

HDFS架构：

NameNode（nn）:作为主管。

• 管理HDFS的名称空间
• 配置副本策略
• 管理数据块的映射
• 处理客户端请求

DataNode（dn）：作为小弟

• 储存实际的数据块
• 进行数据块的读写操作

Client：客户端

• 切分文件，文件上传到HDFS时，Client将其切分成Block，再进行上传。
• 与NN交互，获取文件的位置信息。
• 与DN交互，读写数据
• 管理HDFS
• 访问HDFS，对其CRUD

SecondaryNameNode（2nn）：秘书+备用 但是2nn并不是时时刻刻保持着备用状态，当nn宕机时，2nn不是立即替换NameNode进行服务的。

• 辅助nn，分担工作了，定期合并Fsimage和Edits
• 辅助恢复nn（当nn宕机）

HDFS文件块大小。在Hadoop2.x/3.x中默认是128M。那么为什么？

因为在集群中，寻址的时间大概是10ms，而当寻址时间是传输时间的1%时，状态最佳。

此时传输数据的时间大约为1s。而目前硬盘的刷新速度，若是固态，我们可以把block设置为256M，若是一般硬盘，则为128M。（1s刷一个block，即设置block的大小取决于硬盘的传输速度）。

如果HDFS设置的block大小太小，会提高寻址时间。若太大，处理该块数据会太慢。

HDFS的Shell操作：

hadoop fs 具体命令      hdfs dfs  具体命令

[root@Hadoop-1 hadoop-3.1.3]$ bin/hadoop fs

        [-appendToFil