大数据常见面试题目
每天在在技术群里沉水,搜刮些面试题目,留作备用~
1.简述对大数据组件：Yarn，Spark，Hbase，Hive的理解
2.hdf文件系统中Namenode和DataNode区别和联系
3.请描述Spark RDD中的transform和action的理解?
4.两个类TextInputFormat和KeyValueInputFormat的区别是什么？
5.在hadoop任务中，什么是inputsplit？
6.hadoop框架中文件拆分是怎么被调用的？
7.参考下面的MR系统场景：
hdfs块大小为64M
输入类型为：64M
有三个大小的文件，分别为64KB，65MB，127MB
hadoop文件会被这些文件拆分为多少split?
8.hadoop文件中，RecordReader的作用是什么？
9.Map阶段结束后，Hadoop框架会处理：Partitioning,shuffle,和Sort，在这个阶段都发生了什么？
10.如果没有定义Partitioner，那数据在没有被送达reducer之前是如何被分区的？
11.什么是combiner？
12.分别举例什么情况下会使用combiner，什么情况下不会使用？
13.以下操作是属于窄依赖的spark transformation的是
(A) Rdd.map (B)rdd.count (C)rdd.filter (D)rdd.reducebykey
14.在Hadoop中定义的主要公用inputFormats中，哪一个是默认值（A）TextInputFormat
（B）KeyValueInputFormat
（C）SequenceFileInputFormat
15.请写出下面代码执行后A1和B1的值
val books=List("Hadoop","Hive","HDFS")
val A1=books.map(a->a.toUpperCase())
val B1=books.flatMap(a->a.toUpperCase())
这里尝试做一下：先回答前三个，后面有时间在回答，大家有兴趣，可以解答下
1.简述对大数据组件：Yarn，Spark，Hbase，Hive的理解
Yarn可以理解为大数据组件运行job的管理器。
Spark分布式的利用内存进行分布式运算的大数据组件
Hbase是基于Hadoop的大数据常用数据库
Hive则是基于Hadoop的大数据数据仓库，操作跟关系数据库类似。
2.hdf文件系统中Namenode和DataNode区别和联系
Namenode存储了元数据，并且调度、协调整个集群
DataNode主要用来存储数据
3.请描述Spark RDD中的transform和action的理解?
1，transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD
2，action是得到一个值，或者一个结果