HDFS的功能和架构原理详解

目录

一、分布式文件系统的理解

二、HDFS的架构详细剖析

1. 文件分块存储&3副本

2. 抽象成数据块的好处

3. HDFS架构

4. 扩展

三、HDFS的shell命令操作

四、HDFS安全模式

---

一、分布式文件系统的理解

• 最直观的理解便是三个臭皮匠，顶个诸葛亮。

• 很多的磁盘加一起就可以装下天下所有的avi

• 类似于你出五毛，我出五毛，我们一起凑一块的效果

如下图：

二、HDFS的架构详细剖析

1. 文件分块存储&3副本

• 保存文件到HDFS时，会先默认按 128M 的大小对文件进行切分；效果如上图

  • 数据以block块的形式进统一存储管理，每个block块默认最多可以存储128M的数据。

  • 如果有一个文件大小为1KB，也是要占用一个block块，但是实际占用磁盘空间还是1KB大小，类似于有一个水桶可以装128斤的水，但是我只装了1斤的水，那么我的水桶里面水的重量就是1斤，而不是128斤

• 每个block块的元数据大小大概为150字节

• 所有的文件都是以block块的方式存放在HDFS文件系统当中，在hadoop1当中，文件的block块默认大小是64M，hadoop2当中，文件的block块大小默认是128M，block块的大小可以通过hdfs-site.xml当中的配置文件进行指定

    
        dfs.blocksize
        块大小 以字节为单位
    

• 为了保证block块的安全性，也就是数据的安全性，在hadoop2当中，文件默认保存==三个副本==，我们可以更改副本数以提高数据的安全性

• 在hdfs-site.xml当中修改以下配置属性，即可更改文件的副本数

    
          dfs.replication
          3
    

2. 抽象成数据块的好处

• 一个文件有可能大于集群中任意一个磁盘 10T*3/128 = xxx块 2T，2T，2T 文件方式存—–>多个block块，这些block块属于一个文件
• 使用块抽象而不是文件可以简化存储子系统。hdfs将所有的文件全部抽象成为block块来进行存储，不管文件大小，全部一视同仁都是以block块的形式进行存储，方便我们的分布式文件系统对文件的管理
• 块非常适合用于数据备份进而提供数据容错能力和可用性

3. HDFS架构

• HDFS集群包括，NameNode和DataNode以及Secondary Namenode。

  • NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。

  • DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。

  • Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。最主要作用是辅助namenode管理元数据信息

• NameNode与Datanode的总结概述

4. 扩展

1）块缓存

• 通常DataNode从磁盘中读取块，但对于访问频繁的文件，其对应的块可能被显示的缓存在DataNode的内存中，以堆外块缓存的形式存在。默认情况下，一个块仅缓存在一个DataNode的内存中，当然可以针对每个文件配置DataNode的数量。作业调度器通过在缓存块的DataNode上运行任务，可以利用块缓存的优势提高读操作的性能。

  例如： 连接（join）操作中使用的一个小的查询表就是块缓存的一个很好的候选。 用户或应用通过在缓存池中增加一个cache directive来告诉namenode需要缓存哪些文件及存多久。缓存池（cache pool）是一个拥有管理缓存权限和资源使用的管理性分组

2）hdfs的文件权限验证

• hdfs的文件权限机制与linux系统的文件权限机制类似

  r:read w:write x:execute 权限x对于文件表示忽略，对于文件夹表示是否有权限访问其内容

  如果linux系统用户zhangsan使用hadoop命令创建一个文件，那么这个文件在HDFS当中的owner就是zhangsan

  HDFS文件权限的目的，防止好人做错事，而不是阻止坏人做坏事。HDFS相信你告诉我你是谁，你就是谁

  hdfs 权限-》kerberos来做

三、HDFS的shell命令操作

• HDFS命令有两种风格：

  • hadoop fs开头的

  • hdfs dfs开头的

  • 两种命令均可使用，效果相同

1. 如何查看hdfs或hadoop子命令的帮助信息，如ls子命令

hdfs dfs -help ls
hadoop fs -help ls #两个命令等价

2. 查看hdfs文件系统中指定目录的文件列表。对比linux命令ls

hdfs dfs -ls /
hadoop fs -ls /
hdfs dfs -ls -R /

3. 在hdfs文件系统中创建文件

hdfs dfs -touchz /edits.txt

4. 向HDFS文件中追加内容

hadoop fs -appendToFile edit1.xml /edits.txt #将本地磁盘当前目录的edit1.xml内容追加到HDFS根目录 的edits.txt文件

5. 查看HDFS文件内容

hdfs dfs -cat /edits.txt

6. 从本地路径上传文件至HDFS

#用法：hdfs dfs -put /本地路径 /hdfs路径
hdfs dfs -put /linux本地磁盘文件 /hdfs路径文件
hdfs dfs -copyFromLocal /linux本地磁盘文件 /hdfs路径文件  #跟put作用一样
hdfs dfs -moveFromLocal /linux本地磁盘文件 /hdfs路径文件  #跟put作用一样，只不过，源文件被拷贝成功后，会被删除

7. 在hdfs文件系统中下载文件

hdfs dfs -get /hdfs路径 /本地路径
hdfs dfs -copyToLocal /hdfs路径 /本地路径  #根get作用一样

8. 在hdfs文件系统中创建目录

hdfs dfs -mkdir /shell

9. 在hdfs文件系统中删除文件

hdfs dfs -rm /edits.txt

10. 在hdfs文件系统中修改文件名称（也可以用来移动文件到目录）

hdfs dfs -mv /xcall.sh /call.sh
hdfs dfs -mv /call.sh /shell

11. 在hdfs中拷贝文件到目录

hdfs dfs -cp /xrsync.sh /shell

12. 递归删除目录

hdfs dfs -rm -r /shell

13. 列出本地文件的内容（默认是hdfs文件系统）

hdfs dfs -ls file:///home/hadoop/

14. 查找文件

# linux find命令
find . -name 'edit*'
# HDFS find命令
hadoop fs -find / -name part-r-00000 # 在HDFS根目录中，查找part-r-00000文件

15. 总结

• 输入hadoop fs 或hdfs dfs，回车，查看所有的HDFS命令

• 许多命令与linux命令有很大的相似性，学会举一反三

• 有用的help，如查看ls命令的使用说明：hadoop fs -help ls

• 绝大多数的大数据框架的命令，也有类似的help信息

hdfs的shell命令补充

1. hdfs与getconf结合使用

获取NameNode的节点名称（可能有多个）

hdfs getconf -namenodes

获取hdfs最小块信息

hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size

用相同命令可获取其他的属性值

查找hdfs的NameNode的RPC地址

hdfs getconf -nnRpcAddresses

2. hdfs与dfsadmin结合使用

查看hdfs dfsadmin的帮助信息

hdfs dfsadmin

同样要学会借助help查看具体命令的帮助信息

hdfs dfsadmin -help safemode

查看当前的模式

hdfs dfsadmin -safemode get

进入/退出安全模式

hdfs dfsadmin -safemode enter # 进入安全模式
hdfs dfsadmin -safemode leave #退出安全模式

3. hdfs与fsck结合使用

fsck指令显示HDFS块信息

hdfs fsck /02-041-0029.mp4 -files -blocks -locations # 查看文件02-041-0029.mp4的块信息

4. 其他命令

检查压缩库本地安装情况

hadoop checknative

格式化名称节点（慎用，一般只在初次搭建集群，使用一次；格式化成功后，不要再使用）

hadoop namenode -format

执行自定义jar包

hadoop jar /kkb/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar pi 10 10
yarn jar /kkb/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar pi 10 10

四、HDFS安全模式

• 安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。

• 在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。如果HDFS出于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小的副本数量要求是基于datanode启动时的状态来判定的，启动时不会再做任何复制（从而达到最小副本数量要求），hdfs集群刚启动的时候，默认30S钟的时间是出于安全期的，只有过了30S之后，集群脱离了安全期，然后才可以对集群进行操作

• 何时退出安全模式

  • namenode知道集群共多少个block（不考虑副本），假设值是total；

  • namenode启动后，会上报block report，namenode开始累加统计满足最小副本数（默认1）的block个数，假设是num

  • 当num/total > 99.9%时，退出安全模式

[hadoop@node01 hadoop]$ hdfs dfsadmin -safemode  
Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]