HDFS个人学习总结

WHAT

HDFS:分布式文件系统

Feather:
  • 检测和快速自动恢复
  • 支持大文件存储
  • 对文件实行一次写入、多次读取的访问模式
Drawback:
  • 延迟高(对于低延迟的访问需求,可以使用HBase)
  • 无法高效存储大量小文件
  • 不支持修改文件,只能执行追加操作
Structure:
  • NameNode:管理文件系统的命名空间,维护文件系统树、所有文件、目录以及块的元数据,元数据有两种namespace image和edit log。
    namenode拥有block和datanode之间的映射关系,但是它并不持久化这些信息,这些信息来源依赖于datanode启动时向namenode发送的报告。
  • SecondaryNameNode:辅助的NameNode,周期性的将edit log文件合并(HDFS的HA机制)
HDFS个人学习总结_第1张图片
  • DataNode :datanode维护着最终的block,并定期向namenode发送该datanode包含的block列表(心跳机制)。
HDFS个人学习总结_第2张图片
HDFS架构

WHERE

HDFS个人学习总结_第3张图片
整个工作流上的位置

HOW

  • hadoop fs -ls : 查看HDFS下的文件列表
  • hadoop fs -mkdir:创建目录
  • hadoop fs -put:上传文件
  • hadoop fs -get:下载文件到本地
  • hadoop fs -cat:查看文件内容
  • hadoop fs -rm:删除文件

你可能感兴趣的:(HDFS个人学习总结)