大数据(二) - HDFS

HDFS优点

    高容错性

            数据自动保存多个副本

            副本丢失后，自动恢复

    适合批处理

            移动计算而非数据

            数据位置暴露给计算框架

    适合大数据处理

            GB、TB、甚至PB级数据

            百万规模以上的文件数量

            10K+节点规模

    流式文件访问

            一次性写入，多次读取

            保证数据一致性

    可构建在廉价机器上

            通过多副本提高可靠性

            提供了容错和恢复机制

HDFS缺点，不适合以下操作方式：

    低延迟数据访问

            比如毫秒级

            低延迟与高吞吐率

    小文件存取

            占用NameNode大量内存

            寻道时间超过读取时间

    并发写入、文件随机修改

            一个文件只能有一个写者

            仅支持append

HDFS不适合存储小文件 

    元信息存储在NameNode内存中

            一个节点的内存是有限的

    存取大量小文件消耗大量的寻道时间

            类比拷贝大量小文件与拷贝同等大小的一个大文件

    NameNode存储block数目是有限的

            一个block元信息消耗大约150 byte内存

            存储1亿个block，大约需要20GB内存

            如果一个文件大小为10K，则1亿个文件大小仅为1TB（但要消耗掉NameNode 20GB内存）

HDFS架构

HDFS使用典型的master-slave结构

HDFS设计思想

hdfs架构

Active Namenode： 主Master（只有一个） 

        管理 HDFS的名称空间

        管理数据块映射信息

        配置副本策略

        处理客户端读写请求

Standby Namenode：NameNode的热备；

        定期合并fsimage和fsedits，推送给NameNode；

        当Active NameNode出现故障时，快速切换为新的 Active NameNode。

Datanode： Slave（有多个） 

        存储实际的数据块

        执行数据块读/写

Client： 文件切分 

        与NameNode交互，获取文件位置信息；

        与DataNode交互，读取或者写入数据；

        管理HDFS；

        访问HDFS。

HDFS数据块（block）

    文件被切分成固定大小的数据块

            默认数据块大小为64MB，可配置

            若文件大小不到64MB，则单独存成一个block

    为何数据块如此之大

            数据传输时间超过寻道时间（高吞吐率）

    一个文件存储方式

            按大小被切分成若干个block，存储到不同节点上

            默认情况下每个block有三个副本

HDFS写流程

HDFS读流程

HDFS典型的物理拓扑结构

HDFS Block副本放置策略

        副本1: 同Client的节点上 

        副本2: 不同机架中的节点上

        副本3: 与第二个副本同一机架的另一个节点上

        其他副本:随机挑选

HDFS可靠性策略

HDFS访问方式

     HDFS Shell命令 ：和linux命令很像

     HDFS Java API ：org.apache.hadoop.fs，很简单

    HDFS REST API

    HDFS Fuse：实现了fuse协议

    HDFS lib hdfs：C/C++访问接口

    HDFS 其他语言编程API

             使用thrift实现

            支持C++、Python、php、C#等语言

HDFS2.0新特性（还没有完全实现，谨慎使用）：

        NameNode HA

        NameNode Federation

        HDFS 快照（snapshot）

        HDFS 缓存（in-memory cache）

        HDFS ACL

        异构层级存储结构（Heterogeneous Storage hierarchy）