一、大数据技术基础——分布式文件系统HDFS

目录

1.引入

1.1.传统存储系统面临的难题

1.2.解决之道

2.Hadoop集群架构

3.HDFS 1.0

3.1.概念

3.2.Block块

3.3.NameNode维护文件:fsimage与editlog

3.4.DataNode

3.5.HDFS1.0架构的局限性

3.6. SecondaryNamenode

4.HDFS2.0

4.1.HA架构

4.2.联邦架构

5.HDFS读写入数据流程 

5.1.写入数据流程

5.2.读取数据流程

5.3.HDFS的存储机制

5.3.1.HDFS数据副本放置策略

5.3.2.HDFS的异构存储

6.HDFS常用命令

7.补充:对象存储服务OBS


1.引入

1.1.传统存储系统面临的难题

① 海量数据存储,如何统一管理和统一调度
② 大容量并发读写,设备性能成为瓶颈
③ 设备故障须及时修复,维护成本激增
④ 不同的应用系统间数据难以融合

1.2.解决之道

① 提供分布式文件系统,数据调度与存储分离
② 将单打独斗升级为团队作战
③ 由及时维护转变为定期维护
④ 将各种数据融合,提供统一接口

2.Hadoop集群架构

一、大数据技术基础——分布式文件系统HDFS_第1张图片

                        图2-1 Hadoop集群架构

NameNode和DataNode为存储节点(HDFS)     JobTracker和TaskTracker为计算节点(MapReduce)

NameNode存储元数据,管理文件系统的命名空间(包括文件目录组织、属性维护、访问控制信息、文件操作日志记录、文件到块的映射信息、块当前所在的位置等),DataNode存储实际的数据。

JobTracker将任务拆分为多个小的任务,TaskTracker完成分配到的小任务。

3.HDFS 1.0

3.1.概念

        HDFS是一种可以运行在低廉的设备组成的集群上,并且是通过 流式数据访问 的方式进行 超大文件 存储的分布式文件(存储管理)系统。
一、大数据技术基础——分布式文件系统HDFS_第2张图片

                                          图3-1  HDFS的结构

        HDFS通常的部署是NameNode程序单独运行于一台服务器节点上(主服务器),其余的服务器节点每台运行一个DataNode程序。

3.2.Block块

        物理磁盘中有块的概念,磁盘的物理Block是磁盘操作最小的单元,读写操作均以Block为最小单元,一般为512 Byte。
        文件系统在物理Block之上抽象了另一层概念,文件系统Block物理磁盘Block的整数倍,通常为几KB。    
        HDFS的Block块比一般单机文件系统大得多,默认为64MB。(从2.7.3版本开始,blocksize由默认64 MB变成128 MB)。
一、大数据技术基础——分布式文件系统HDFS_第3张图片

                                 图3-2 名称节点和数据节点

3.3.NameNode维护文件:fsimage与editlog

        NameNode存在内存中,当断电后就丢失,因此也要进行持久化存储。

        fsimage就是在某一时刻,整个HDFS的快照,就是这个时刻HDFS上:所有的文件块和目录,分别的状态,位于哪些个DataNode ,各自的权限,各自的副本个数。

        Editlog记录客户端对HDFS所有的更新操作,比如说移动数据,或者删除数据。

        NameSpace镜像文件(fsimage),操作日志文件(edit log)这些信息被Cache在RAM内存中,这两个文件也会被持久化存储在本地硬盘。

        比如,在1:00:00时刻记录了一个快照fsimage,那么从1:00:00到1:59:59期间的所有对HDFS更新的操作都会记录在editlog中。当NameNode发生故障时,重启服务器,Fsimage加上Editlog的数据就会恢复元数据。

3.4.DataNode

        每个DataNode会周期性的向Namenode发送心跳消息,报告自己所在DataNode的使用状态和block信息。

  • 如果在一定时间后还接受不到DN的心跳,那么NN认为DN已经宕机 ,这时候NN准备要把DN上的数据块进行重新的复制。
  • DN还会向NN发送当前节点的使用状态以便NN进行DN选择策略。

        两种策略类型:轮询(round-robin)和可用空间(available space ):

        ①轮询策略在可用磁盘上均匀分配新块。
        ②可用空间策略优先将数据写入具有最多可用空间(按百分比)的磁盘。
  • DN向NN发送Block信息:有可能DN上的数据块会被修改,需告知NN会进行相应的同步修改。

3.5.HDFS1.0架构的局限性

一、大数据技术基础——分布式文件系统HDFS_第4张图片

                              表3-1 HDFS 1.0和HDFS 2.0架构对比

隔离的问题
         由于HDFS仅有一个NameNode,无法隔离各个程序,因此HDFS上的一个实验程
序就很有可能影响整个HDFS上运行的程序。
性能的瓶颈
        由于是单个NameNode的HDFS架构,因此整个HDFS文件系统的吞吐量受限于单
个NameNode的吞吐量。

3.6. SecondaryNamenode

Hadoop1.x中的NameNode容错机制:
NameNode节点断电,可以合并FsImage和editlog,合成元数据。
存在问题:
  1. 长时间添加数据到editlog中,会导致该文件数据过大,效率降低。
  2. 恢复元数据时间过长。
  3. NameNode节点完成,效率过低。

        因此,引入一个新的节点SecondaryNamenode,专门用于FsImage和editlog的合并

  •  SecondaryNamenode不是NN的备份节点而是助手节点。通常,SecondaryNamenode 运行在一个单独的物理机上,因为合并操作需要占用大量的CPU时间以及和Namenode相当的内存。
  • 触发SecondaryNameNode的CheckPoint的两个机制:定时时间到、edit log中数据写满;

一、大数据技术基础——分布式文件系统HDFS_第5张图片

                                                图3-3 SecondaryNamenode工作流程

NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可,因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

4.HDFS2.0

包括高可用HA和HDFS Federation联邦。

4.1.HA架构

        HDFS2.0采用了HA(High Availability,高可用)架构。在HA集群中,一般设置两个NN,其中一处于“活跃(Active)”状态,另一个处于“待命(Standby)”状态。
一、大数据技术基础——分布式文件系统HDFS_第6张图片
                                                                图4-1 HDFS高可用架构
Zookeeper负责保持系统的一致性,当活跃的NN故障,由Zookeeper进行工作的交接。

4.2.联邦架构

        设计多个相互独立的NN,使得HDFS的命名服务能够水平扩展,这些NN分别进行各自命名空间和块的管理,不需要彼此协调。
        每个DN要向集群中所有的NN注册,并周期性的发送心跳信息和块信息,报告自己的状态。
一、大数据技术基础——分布式文件系统HDFS_第7张图片

                                                                图4-2 HDFS联邦架构 

Block pool(块池)就是属于单个命名空间的一组block(块)
每个DN会为多个块池提供块的存储块池中的各个块实际上是存储在不同DN中
DN是一个物理概念,而block pool是一个重新将block划分的逻辑概念

5.HDFS读写入数据流程 

5.1.写入数据流程

                                                        图5-1 HDFS写入数据流程 

5.2.读取数据流程

而读取文件的时候,NN尽量让client读取离它最近的DataNode上的副本,降低带宽消耗和读取时延。

                                                         图5-2 HDFS读取数据流程

5.3.HDFS的存储机制

5.3.1.HDFS数据副本放置策略

一、大数据技术基础——分布式文件系统HDFS_第8张图片

                        图5-3 当副本系数是3时的HDFS数据副本放置情况

        数据块的第一个副本先放置在本地机架上的一个节点上,然后第二个副本放置在同一个机架的另一节点上,之后第三个副本放在另外的机架上的节点上。

5.3.2.HDFS的异构存储

        Hadoop 从 2.4 后开始支持异构存储:

  • 经常被计算或者读取的热数据为了保证性能需要存储在内存。
  • 当一些数据变为冷数据后不经常会用到的数据会变为归档数据,可以使用大容量性能要差一些的存储设备来存储来减少存储成本。
        ①RAM_DISK内存 :内存镜像文件系统(实时)
        ②SSD固态硬盘:SSD 盘(常读)
        ③DSIK磁盘: 普通磁盘(平常)
        ④ARCHIVE高密度存储介质 :归档(价值不大,但不能丢弃的数据。)
六个预配置的存储策略:
  • Lazy_persist:一个副本保存在内存RAM_DISK中,其余副本保存在磁盘DISK中;将副本写入RAM_DISK,然后缓慢的持久化到DISK。
  • ALL_SSD:所有副本都保存在SSD中。
  • Hot: 存储和计算都热; 所有副本保存在磁盘中,这也是默认的存储策略。
  • One_SSD:一个副本保存在SSD中,其余副本保存在磁盘DISK中。
  • Warm: 半冷半热; 一个副本保存在DISK磁盘上,其余副本保存在ARCHIVE归档存储上。
Cold: 用于有限计算的存储; 所有副本都保存在归档存储上。

 一、大数据技术基础——分布式文件系统HDFS_第9张图片                                                 图5-4 HDFS的LAZY_PERSIST内存存储

这样做的好处是,满足我们大部分情况是新数据更容易被读取使用。

注意:HDFS一次写入,多次读取;文件一旦写入 不能修改 只能追加

6.HDFS常用命令

        配置好Hadoop集群之后,可以通过浏览器登录“http://[NameNodeIP]:50070”访问HDFS文件系统。

        hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统。
        hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统。
        hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系统。
一、大数据技术基础——分布式文件系统HDFS_第10张图片
hadoop fs -ls :显示指定的文件的详细信息
hadoop fs -mkdir :创建指定的文件夹
一、大数据技术基础——分布式文件系统HDFS_第11张图片
hadoop fs -cat :将指定的文件的内容输出到标准输出(stdout)
hadoop fs -copyFromLocal :将本地源文件复制到路径指定的文件或文件夹中

7.补充:对象存储服务OBS

桶是OBS中存储对象的容器, 每个桶都有自己的存储类别、访问权限、所属区域等属性,用户在互联网上通过桶的访问域名来定位桶。
对象是OBS中数据存储的基本单位 ,一个对象实际是一个文件的数据与其相关属性信息的集合体,包括Key、Metadata、Data三部分。
OBS提供了数据湖的概念,即将各种类型的数据都存储在某一个桶中,存储的时候不关心将来需要怎么计算,而我们算的时候再根据各个接口提取出数据进行计算。

你可能感兴趣的:(大数据技术基础学习笔记,hadoop,大数据)