Hadoop HDFS 读写流程

Hadoop HDFS 读写流程

  • HDFS 写流程
    • 网络拓扑
    • 机架感知
      • 源码说明
  • HDFS 读流程

HDFS 写流程

HDFS 的写数据流程 :

  1. 客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件, NameNode 检查目录 , 文件是否已存在
  2. NameNode 返回是否可以上传
  3. 客户端请求 Block 上传到哪几个 DataNode 服务器上
  4. NameNode 返回 3 个 DataNode 节点, 分别为 dn1、 dn2、 dn3
  5. 客户端通过 FSDataOutputStream 模块请求 dn1 上传数据, dn1 收到请求会再调 dn2,然后 dn2 调用 dn3,将这个通信管道建立完成
  6. dn1、 dn2、 dn3 逐级应答客户端
  7. 客户端开始往 dn1 上传 Block (单位 : Packet)(从磁盘读取到内存缓存),dn1 每收到个 Packet 就会传给 dn2, dn2 传给 dn3; dn1 每传个 packet 会放入一个应答队列等待应答
  8. 当 Block 传输完成后,客户端会再请求 NameNode 上传另外 Block 的服务器。(重复执行 3-7 步)

Hadoop HDFS 读写流程_第1张图片

代码分析 :

Hadoop HDFS 读写流程_第2张图片

网络拓扑

HDFS 写数据时, NameNode 会选择距离 Clinet 最近 DataNode 接收数据

  • 节点距离:两个节点到达最近的共同祖先的距离总和

节点距离计算 : 如 : 数据中心 d1 机架 r1 中的节点 n1 , 该节点表示为 /d1/r1/n1

情况 集群 机架 节点 距离 情况
设备1 d1 r1 n0 0 同一节点上的进程
设备2 d1 r1 n0
设备1 d1 r1 n0 2 同一机架上的不同节点
设备2 d1 r1 n2
设备1 d1 r1 n0 4 同一数据中心不同机架上的节点
设备2 d1 r2 n0
设备1 d1 r1 n0 6 不同数据中心的节点
设备2 d2 r1 n0

Hadoop HDFS 读写流程_第3张图片

机架感知

http://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

副本放置策略 (副本 : 3) :

  • 副本1 : Client 的节点上。当客户端在集群外, 随机选 ( 快速写入 )
  • 副本2 : 另个机架的随机一个节点 ( 应对交换机故障 )
  • 副本3 : 副本2 的机架的随机节点 ( 减少跨 rack 的网络流量 )

Hadoop HDFS 读写流程_第4张图片

此策略好处 :

  • 减少了机架间写入流量,提高写入性能
  • 不影响数据可靠性和可用性 , 因为机架故障的几率远小于节点故障
  • 减少了读取数据时 , 使用的总网络带宽,因为一个块只放置在两个独特的机架中,而不是三个
  • 文件的副本并非均匀分布在机架上。1 / 3 的副本在一个节点上,1 / 3 的副本在一个机架上,1/ 3 均匀分布在剩余的机架上

源码说明

Idea 中

Hadoop HDFS 读写流程_第5张图片

org.apache.hadoop.hdfs.server.blockmanagement;

<dependency>
    <groupId>org.apache.hadoopgroupId>
    <artifactId>hadoop-hdfsartifactId>
    <version>3.1.3version>
dependency>

Crtl + n 查找 BlockPlacementPolicyDefault ,在该类中查找 chooseTargetInOrder 方法

protected Node chooseTargetInOrder() {
	int numOfResults = results.size();
	if (numOfResults == 0) {
		// 本地
		DatanodeStorageInfo storageInfo = this.chooseLocalStorage();
	}
	if (numOfResults <= 1) {
		// 远程
		this.chooseRemoteRack();
	}
	if (numOfResults <= 2) {
		if (this.clusterMap.isOnSameRack(dn0, dn1)) {
			// 上一个本地, 这就远程
		   this.chooseRemoteRack();
		} else if (newBlock) {
			// 本地
		   this.chooseLocalRack();
		} else {
			// 本地
		   this.chooseLocalRack();
		}
	}
}

HDFS 读流程

读流程 :

  1. 客户端通过 DistributedFileSystem 向 NameNode 请求下载文件, NameNode 通过查询元数据,找到文件块所在的 DataNode 地址
  2. 选一台 DataNode (就近原则,数据量大就会随机),请求读取数据
  3. DataNode 开始传输数据给客户端(从磁盘读到输入流,以 Packet 为单位来做校验)
  4. 客户端接收数据 ( 单位: Packet),先在本地缓存,然后写入目标文件

Hadoop HDFS 读写流程_第6张图片

你可能感兴趣的:(Hadoop,hadoop,hdfs,大数据,ambari,架构)