hdfs的组成及作用

1.组成

client客户端
namenode
datanode
secondarynamenode

2.作用

client客户端:

(1)文件切分。文件上传HDFS的时候,Clien将文件切分成一 个个的Block,然后进行上传;
(2)与nameNode交互,获取文件的位置信息;
3)与DataNode交互,读取或者写入数据:
(4) Client提供一些命令来管理HDFS, 比如NameNode格式化;
(5) Client可以通过一些命今来访问HDFS,比如对HDFS增删查改操作;

namenode

(1)管理HDFS的名称空间;
(2)配置副本策略;
(3)管理数据块(Block)映射信息;
(4)处理客户端读写请求。

datanode

(1)存储实际的数据块;
(2)执行数据块的读写操作。

Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候, 它并不能马上替换NameNode并提供服务。

(1)辅助NameNode,分担其工作,比如定期合推fsaimag和Edit,并推送给NameNode ;
(2)在紧急情况下,可辅助恢复NameNode。

相关知识

1.机架感知:找文件时遵循就近原则。
2.冷备份:会间隔一段时间进行备份。热备份:时时备份
3.数据放在哪里由NameNode决定
4.一个数据块在DateNode是以文件的形式进行存储,包括两个文件:a.数据本身b.元数据 包括了数据块的长度,数据块的校验和,以及时间戳。
5.DateNode 启动后向NameNode进行注册,当注册通过后会周期性的向NameNode上报所有的块信息
6.安全模式:hdfs启动后会先启动NameNode,这个时候只有主节点没有从节点,但是元数据是存在的,我们可以看见文件列表,可以创建、删除、移动或者重命名文件,但是就是不可以修改文件的内容。
7.HDFS权限的目的:是阻止好人做坏事,而不是阻止坏人做坏事。
NameNode和DateNode 之间用的心跳都是RPC协议是TCP的上层,这样的协议会保证数据不丢失。而然Http协议特点就是使用快速方便,不等人。
8.HDFS是不允许大量小的文件进行存储,因为这样不仅占内存(日志量会变得巨大),又消耗block的内存空间,导致降低系统性能。

你可能感兴趣的:(hdfs的组成及作用)