1:Block Size 是不可以修改的
F
2:如果 NameNode 意外终止 ,SecondaryNameNode 会接替它使集群继续工作。
F
3:Hadoop 是 Java 开发的 ,所以 MapReduce 只支持 Java 语言编写
F
4:Cloudera CDH 是不需要付费使用的
T
5:因为 HDFS 有多个副本 ,所以 NameNode 是不存在单点问题的
F
6:Hadoop 默认调度器策略为 FIFO
T
7:Slave 节点要存储数据 ,所以它的磁盘越大越好
F
8:Hadoop 支持数据的随机读写
F
1:HDFS有一个gzip文件大小75MB,客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时input split大小为?
A.64MB
B.75M
C.128M
D.一个map读取64MB,另外一个map读取11MB
2:一个gzip文件大小75MB,客户端设置Block大小为64MB,请我其占用几个Block?
A.1
B.2
C.3
D.4
3:出现在 datanode 的 VERSION 文件格式中但不出现在 namenode 的VERSION文件格式中的是
A.namespaceID
B.storageID
C.storageType
D.layoutVersion
4:Hadoop非常适合在商用硬件上做分布式存储和计算,在Hadoop集群中,负责文件的存储和管理的是?
A.HDFS
B.MapReduce
C.Hive
D.HBase
5:如果我们现有一个安装2.6.5版本的hadoop集群,在不修改默认配置的情况下存储200个每个200M的文本文件,请问最终会在集群中产生多少个数据块(包括副本)?
A.200
B.40000
C.400
D.1200
6:下列不是属于Apache中和Hadoop相关的项目是?
A.Avro
B.Kettle
C.Zookeeper
D.Hive
7:Hadoop最基础的功能是?
A.存储和处理海量数据的能力
B.快速编写程序
C.加快数据的读取
D.数据挖掘
8:关于 Hadoop 单机模式和伪分布式模式的说法 ,正确的是
A.两者都起守护进程 ,且守护进程运行在一台机器上
B.单机模式不使用 HDFS,但加载守护进程
C.两者都不与守护进程交互 ,避免复杂性
D.后者比前者增加了 HDFS 输入输出以及可检查内存使用情况
9:大数据的类型包含结构化数据、半结构化数据和非结构化数据,下列属于结构化数据的是?
A.Excel二维表格
B.图像
C.视频
D.音频
10:数据采集是将数据引入大数据平台的过程,针对不同的数据源需要采取不同的采集方法,网络数据采集适合下列哪类采集方法?
A.ETL工具抽取
B.分布式日志采集系统
C.爬虫、开放API
D.智能传感设备
11:分布式计算,就是通过不断增加处理器的数量在增强单个计算机的计算能力,从而提高处理数据的速度。
A.正确
B.错误
12:大数据时代的出现,在数据分析的发展过程中是必然的,互联网和物联网的发展,是大数据时代出现的技术基础。
A.正确
B.错误
13:下列关于 MapReduce 说法不正确的是 ______
A.MapReduce 是一种计算框架
B.MapReduce 来源于 google 的学术论文
C.MapReduce 程序只能用 java 语言编写
D.MapReduce 隐藏了并行计算的细节 ,方便使用
14:下面与 HDFS 类似的框架是
A.NTFS
B.FAT32
C.GFS
D.EXT3
15:出现在 datanode 的 VERSION 文件格式中但不出现在 namenode 的VERSION文件格式中的是
A.namespaceID
B.storageID
C.storageType
D.layoutVersion
16:Client 在 HDFS上进行文件写入时 ,namenode 根据文件大小和配置情况 ,返回部分 datanode 信息,谁负责将文件划分为多个 Block,根据 DataNode 的地址信息 ,按顺序写入到每一个 DataNode 块
A.Client
B.Namenode
C.Datanode
D.Secondary namenode
17:关于 HDFS 的文件写入 ,正确的是
A.支持多用户对同一文件的写操作
B.用户可以在文件任意位置进行修改
C.默认将文件块复制成三份存放
D.复制的文件块默认都存在同一机架上
18:Hadoop fs 中的-get 和-put 命令操作对象是
A.文件
B.目录
C.两者都是
D.两者都不是
19:Namenode 在启动时自动进入安全模式 ,在安全模式阶段 ,说法错误的是
A.安全模式目的是在系统启动时检查各个 DataNode 上数据块的有效性
B.根据策略对数据块进行必要的复制或删除
C.当数据块最小百分比数满足的最小副本数条件时 ,会自动退出安全模式
D.文件系统允许有修改
20:下面哪个程序负责 HDFS 数据存储
A.NameNode
B.Jobtracker
C.Datanode
D.secondaryNameNode
21:Client 端上传文件的时候下列哪项正确
A.数据经过 NameNode 传递给 DataNode
B.Client 端将文件切分为 Block ,依次上传
C.Client 端不会对文件切分为 Block ,依次上传
D.Client 只上传数据到一台 DataNode ,然后由 NameNode 负责 Block 复制工作
22:以下哪个命令不可以用来操作HDFS文件:
A.hdfs dfs
B.hadoop fs
C.hdfs fs
D.hadoop dfs
1:start-all.sh启动后,Shell命令查看HDFS根目录下的文件
hdfs dfs -ls /
2:start-all.sh启动后,将本地Linux系统目录/home/hadoop/data/下的mobile.txt文件上传到根目录的HDFSShell目录下的命令:
hdfs dfs -put /home/hadoop/data/mobile.txt /HDFSShell
3:统计目录/HDFSShell下文件大小的Shell命令
hdfs dfs -du /HDFSShell
4:启动hadoop所有进程的命令是:
start-all.sh
5:分布式文件系统HDFS采用了主从结构模型,由计算机集群中的多个节点构成的,这些节点分为两类,一类存储元数据叫 :
名称节点
,另一类存储具体数据叫
数据节点
HDFS核心组件包含:数据块(Block)、元数据节点(NameNode)
、数据节点(DataNode)和从元数据节点(secondaryNameNode)
Block:默认的最基本的存储单位为128M的数据块
NameNode:管理文件系统的命名空间
DataNode:客户端或者元数据信息(NameNode)可以向数据节点
请求写入或者读出数据块,其周期性的向元数据节点回报其储存
的数据块信息。
secondaryNameNode:周期性的将元数据节点命名空间的镜像文件和修改
日志文件合并,以防日志文件过大。
在HDFS中,访问大量小文件速度远远小于访问几个大文件,HDFS最初是为流式
访问大文件开发的,如果访问大量小文件,需要不断的从一个datanode跳到另
一个datanode,严重影响性能。每一个小文件要占用一个solt,而task启动将
耗费大量时间甚至大部分时间都耗费在启动task和释放task上.
public void rename() throws Exception{
Path oldPath = new path("/HDFSJava/mobiles.txt");
Path newPath = new Path("/HDFSJava/newMobiles.txt");
System.out.println(fileSystem.rename(oldPath,newPath));
}
1、编写Mobile实体类。
2、编写序列化工具类,实现序列化和反序列化方法。
3、编写测试类来测试序列化和反序列化方法。