hadoop(4)--NameNode元数据管理

这是分享的第四篇文章了,可能有些小伙伴看到标题后,很纳闷,完全是跳跃式的,NameNode是什么呢?NameNode是管理元数据的,这个和大数据有什么关系呢?

对了,就爱带着问题去探索,NameNode是HDFS的一个组件,可以说一个进程,HDFS中共有三个组件NameNode,DataNode,SecondNameNode。这三个都是做什么的呢?

NameNode:管理元数据的

DataNode:保存数据的块的

SencodeNameNode:从字面上可以看出是第二个NameNode,他的所用就是帮助NameNode完成数据的合并的(这个之后会讲到的)

步入正题:NameNode管理元数据,是怎么管理的呢?

好的,先来认识一下元数据:


NameNode管理数据就管理这么多吗?是的,这就是管理的数据

那么,我们在上传文件到HDFS上面的时候,是怎么一个流程,经历了什么呢?

画图来说明,比较直观!


客服端个上传文件的时候的流程图

1,客户端申请上传文件

2,NameNode返回可用的DataNode

3,客户端去写数据,每128M就是一个块

4,DataNode负责副本的复制,异步的

好了,今天就到这里,明天梳理NameNode为什么能支持高并发,响应快【这个问题是不是和redis的很像,其实他们两个的思想都是一样的,都是存储数据,高并发,响应快】,不难发现好多技术,思想都是相同的,将这种思想应用到实际工作中是很难能可贵的,加油吧,少年。

望指正,不吝赐教!

你可能感兴趣的:(hadoop(4)--NameNode元数据管理)