什么是HDFS?（内含习题）

HDFS: 全称 Hadoop Distributed File System ，即：Hadoop分布式文件系统

HDFS的特性：

HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。

而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。

HDFS是用java编写的，任何支持java的机器都可以运行名字节点或数据节点，利用java语言的超轻便性，很容易将HDFS部署到大范围的机器上。

大部分的HDFS程序对文件操作需要的是一次写多次读取的操作模式。

HDFS是一个主从结构，一个HDFS集群是由一个名字节点，它是一个管理文件命名空间和调节客户端访问文件的主服务器，当然还有一些数据节点，通常是一个节点一个机器，它来管理对应节点的存储。

名字节点用来操作文件命名空间的文件或目录操作，如打开，关闭，重命名等等。它同时确定块与数据节点的映射。

数据节点负责来自文件系统客户的读写请求。数据节点同时还要执行块的创建，删除，和来自名字节点的块复制指令。

HDFS中典型的块大小是64MB，一个HDFS文件可以被被切分成多个64MB大小的块，如果需要，每一个块可以分布在不同的数据节点上。

在HDFS中，fsimage和eidts是NameNode两个非常重要的文件。

其中，fsimage是HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息；而edits保存了自最后一次检查点之后所有针对HDFS文件系统的操作，比如：增加文件、重命名文件、删除目录等等。

 

---

HDFS经典习题：

HDFS 1.X版本 默认 Block Size的大小是___B___。

A.32MB

B.64MB

C.128MB

D.256MB

 

HDFS是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是 __D____。

A.一次写入，少次读

B.多次写入，少次读

C.多次写入，多次读

D.一次写入，多次读

 

HBase依靠__A____存储底层数据。

A.HDFS

B.Hadoop

C.Memory

D. MapReduce

 

下面与HDFS类似的框架是___C____？

A.NTFS

B.FAT32

C.GFS

D. EXT3

 

HDFS默认的当前工作目录是/user/$USER，fs.default.name的值需要在哪个配置文件内说明  答案：B

A. mapred-site.xml

B. core-site.xml

C. hdfs-site.xml

D. 以上均不是

 

关于Hadoop单机模式和伪分布式模式的说法，正确的是   答案：D

A． 两者都起守护进程，且守护进程运行在一台机器上

B． 单机模式不使用HDFS，但加载守护进程

C． 两者都不与守护进程交互，避免复杂性

D． 后者比前者增加了HDFS输入输出以及可检查内存使用情况

 

HDFS的NameNode负责管理文件系统的命名空间，将所有的文件和文件夹的元数据保存在一个文件系统树中，这些信息也会在硬盘上保存成以下文件：  答案：C

A．日志

B．命名空间镜像

C．两者都是

 

Client在HDFS上进行文件写入时，namenode根据文件大小和配置情况，返回部分datanode信息，谁负责将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块   答案：A

A． Client

B． Namenode

C． Datanode

D． Secondary namenode

 

HDFS无法高效存储大量小文件，想让它能处理好小文件，比较可行的改进策略不包括   答案：D

A. 利用SequenceFile、MapFile、Har等方式归档小文件

B．多Master设计

C． Block大小适当调小

D． 调大namenode内存或将文件系统元数据存到硬盘里

 

关于HDFS的文件写入，正确的是   答案：C

（知识点：在HDFS的一个文件中只有一个写入者，而且写操作只能在文件末尾完成，即只能执行追加操作。默认三份文件块两块在同一机架上，另一份存放在其他机架上。）

A． 支持多用户对同一文件的写操作

B． 用户可以在文件任意位置进行修改

C． 默认将文件块复制成三份存放

D． 复制的文件块默认都存在同一机架上

 

Namenode在启动时自动进入安全模式，在安全模式阶段，说法错误的是   答案：D

A． 安全模式目的是在系统启动时检查各个DataNode上数据块的有效性

B． 根据策略对数据块进行必要的复制或删除

C． 当数据块最小百分比数满足的最小副本数条件时，会自动退出安全模式

D． 文件系统允许有修改

 

下列哪个程序通常不与 NameNode 在一个节点启动？（ A）。
A . SecondaryNameNode
B . DataNode
C . resourcemanager 
D . nodemanager

 

下列关于HDFS为存储MapReduce并行切分和处理的数据做的设计，错误的是  答案：B

（知识点：每个分片不能太小，否则启动与停止各个分片处理所需的开销将占很大一部分执行时间）

A． FSDataInputStream扩展了DataInputStream以支持随机读

B． 为实现细粒度并行，输入分片(Input Split)应该越小越好

C． 一台机器可能被指派从输入文件的任意位置开始处理一个分片

D． 输入分片是一种记录的逻辑划分，而HDFS数据块是对输入数据的物理分割

 

下面哪个程序负责 HDFS 数据存储。答案C

a)NameNode

b)Jobtracker

c)Datanode

d)secondaryNameNode

e)tasktracker

 

 HDfS 中的 block 默认保存几份？ 答案A

a)3 份 b)2 份 c)1 份 d)不确定

HDFS  在 hadoop2 默 认 Block Size 是   128MB  

关于 hdfs 元数据，NameNode 维护整个文件系统元数据

关于 hadoop ha 说法，NN 是 HDFS 集群的单点故障点，每一个集群只有一 个 NN。

 

sqoop 实现向 hdfs 系统导入数据使用的命令是（ A）。

A . sqoop import

B . sqoop export

C . sqoop connect

D . sqoop jdbc

 

关于 HDFS 写数据流程，下面说法错误的是（ B）。
A . 写数据首先需要找NN确定写的位置
B . 如果pipeline一个节点写失败 则重新申请DN节点再写
C . 写数据是以packet为大小进行的，默认64K

D . pipeline反方向会进行数据的ack检验
 

关于 checkpoint,说法正确的是（ C）。
A . checkpoint可通过元数据文件的大小进行控制
B . secondarynamenode会将合并好的元数据移动到namenode
C . SecondaryNameNode会将edits文件和fsimage复制到本地（HTTP GET方式）

D . 合并元数据需要大量的磁盘进行文件的合并操作

 

判断：

• hadoopdfsadmin –report 命令用于检测 HDFS 损坏块。（错误 ）
• 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。（错误 ）
• HDFS的namenode保存了一个文件包括哪些数据块，分布在哪些数据节点上，这些信息也存储在硬盘上。（错误）
• drop 内部表时，会删除 hdfs 上的文件夹和元数据。（对）
• –append 参数是将数据追加到 HDFS 上一个已存在的数据集上（对）
• hdfs 系统不支持数据的修改。（对）
• 关于 hdfs 元数据，Edits 编辑日志中记录了文件系统的所有操作？（错误 ）
• NameNode 本地磁盘保存了 Block 的位置信息  （错误 ）
• DataNode 通过长连接与 NameNode 保持通信  （错误）