大数据知识阶段总结（一）
一、RDD常用算子再次实验
一、RDD常用算子再次实验
1、准备20-30秒的自我介绍，有特色些的
2、画出你们的大数据架构，针对架构提问，如何做到精准一次、小文件规避？
- MapReduce离线架构图，有哪些环节，什么到什么地方有哪些东西，为什么要这么选择这个架构；为什么要选择MapReduce或者spark；不要具体落地到某个业务场景中去；要搞成一个通用形态的架构，比如数据到hdfs采用什么格式，选择什么压缩方式？
- 为什么要选择压缩，压缩带来的好处是什么，生产需要分清楚是什么样的场景？
- 生产上小文件的规避，为什么hadoop不怕数据量大，怕的是数据量小；说清楚hadoop的架构，Hadoop的元数据存储； -->小文件会导致namenode管理不过来；
- hdfs中的路径是否占用元数据的内存？占的话，占多少内存？答：会占内存，不同版本占的内存还不一样。
- 小文件会产生什么样的问题，对生产上的集群会产生什么样的结果？
3、画出Yarn的工作流程？
- Mapreduce在yarn的执行流程、Spark在yarn上得执行流程、Flink在yarn的执行流程、Storm在yarn上的执行流程
4、你们使用的Spark运行模式？
- local[]、local[*]、K8s
5、Yarn的调度有哪几种？你们用的是哪几种？如果申请的资源，在yarn的队列里资源不够，怎么处理？
6、Spark用的版本？Spark内存管理，画出来，给一个案例，executor要申请300内存的过程？
- Spark2.4.2版本，需要往前说一点，新特性不稳定；
假设你们公司使用的是CDH集群：建议Spark使用社区版本，在调度机上部署我们需要的Spark版本，Impala才是cloudera公司的亲儿子；在CM中没有安装Spark，外挂了一个Spark，Spark on Yarn我们需要监控什么，监控yarn的8088端口上看；
- 自行百度CM自带的Spark如何替换成自己编译的Spark？
7、HDFS高可用采用哪种方式？NN落盘的两个文件叫什么？主备NN实现高可用的流程？
- Hadoop高级班的课程
8、HDFS NN的内存管理：
- 与小文件的处理息息相关，美团面试的一篇文章；
9、现场看一个生产上的案例：HDFS block丢失，怎么办？
10、查看hdfs上一个目录下的文件数和空间大小的命令？
- hdfs dfs -du -sh 空间大小
11、Scala中left和right join的区别？
- 都讲了如何使用方法打印出来内容？
12、说说你对Hadoop的认识？
- 广义、狭义上的hadoop；说清楚hdfs的架构，每个东西的职责；HadoopHA架构；Yarn、Yarn的HA，小文件的产生原因，小文件的处理。
13、Hadoop1.X和hadoop2.x的区别？
在1中，都是单点的，一出问题，整个集群全挂了；
14、Hadoop生产上用什么格式文件和压缩？压缩？
15、reduceByKey和groupByKey的区别？
16、宽依赖和窄依赖？
17、如何保证yarn的高可用，yarn在挂掉后，未执行的作业应该怎么处理？
18、小文件合并的方案？
- 归档
19、说几个Spark项目开发中遇到的问题，和解决的方案？
20、每天的数据量多少？生产集群规模有多大？
- 可以说一天是200-300g左右的数据量，按照时间、业务线来计算。
21、阐述一下最近开发的项目，以及担任的角色位置？
- 大数据开发的项目是商用还是自研的平台
22、数据倾斜的场景和解决方案？
23、Hive执行哪些操作会触发MR？哪些操作不会触发MR？
- 有个参数能够控制哪些参数触发MR，聚合计算肯定触发MR，如count
24、如何处理数据倾斜？
25、RDD的五大特性？
- 务必要掌握的，需要详细了解
26、Scala的隐式转换和使用？
27、JVM运行时的数据区域？
28、mr的计算流程？详细到什么程度，inputsplit怎么拆文件，拆文件的时候有没有分片？
- LineRecordReader.java
29、Hive和关系型数据的关系，作对比？
- 关系型数据库的延时性较低，Hive是做离线处理的
30、Hadoop有哪些优化，调优点？
31、阐述对Hive分区、分桶的理解？
32、比如1条记录10个字节X天数X副本数 = xxx；xxx乘以业务线=…；N台机器
33、hive和hdfs文件之间的联系？
34、Hive的实现原理？
35、spark和mapreduce的区别？
36、spark对于oom从什么角度下手调整？
从JVM的底层去说
37、有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序
38、有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词
39、编程题B：
1.年/月/日/xxx.jpg ， 文件夹以 这个形式组织。
2.新建文件夹，将所有jpg文件拷贝到该文件夹，更名为 年_月_日_xxx.jpg。
3.监控文件夹，如果有增加的jpg文件，自动同步到新文件夹。
4.jpg文件只增加不删除。
40、除了spark之外的大数据处理框架？
flink
41、StringBuilder和StringBuffer的区别？HashMap和HashTable
线程安全和线程不安全
42、二叉树的数据结构是什么样的？
43、你了解Hive的元数据管理？Hive有哪些原理性的了解？AST和Operator Tree的了解？
44、你觉得join该怎么优化？
- mapjoin，大表和大表的join又该怎么优化，加桶
45、Hive的数据倾斜，Hive能加索引么？可以但是没必要
46、Spark-Core中的flatMap？
47、小文件的合并？
- 归档
48、最近一个项目的架构，你所负责的模块
原理性的东西：SQL语句是如何转换成MapReduce执行的？
- HIve是一个基于Hadoop的数据仓库系统，在各大公司都有广泛的应用，美团数据仓库是基于Hive的搭建，每天执行N次的Hive ETL计算流程，负责每天数百G的数据存储和分析，Hive的稳定性和性能对我们的数据分析是非常关键的。
MapReduce实现SQL操作的基本原理：
一个普通Join的实现原理：
select u.name,o.orderid from order o join user u on o.oid=u.uid;
在map的输出value中为不同的数据打上不同的tag标记，在reduce阶段根据tag判断数据来源；
a join b on a.uid=b.uid；join会存在shuffle的情况；
groupBy的实现原理：
将groupBy的字段组合为map的输出的key值，利用MapReduce的排序，在reduce阶段保存LastKey区分不同的key。MapReduce的过程如下（这里只是说明reducedaunt的非hasg聚合过程）
select rank,level,count(*) from score group by rank,level;
不管是join还是group by 根据他们的条件进行shuffle；再利用mr的shuffle机制，相同的key分发到一个reduce上去，最终做我们的聚合操作。
distinct的实现原理：
explain：
The Abstract Syntax Tree for the query
The dependencies between the different stages of the plan
The description of each of the stages
Hive使用Antlr实现SQL的词法和语法解析，Antlr是一种语言识别工具，可以用来构造领域语言。把SQL字符串转换成AST
抽象语法树：比较复杂
Queryblock：
再把Queryblock转换成操作符：TableScanoperator
Join shuffle：根据一定的规则进行map端数据分发到reduce上去，某一个或者某几个规则所对应的的数据量比较大
木桶原理：一个木桶所能装的水是由最短的板决定的；同理，一个作业的性能就取决于里面job最慢的那个，短板原理。
假设第一个中有1亿条数据，第二个中只有2条，就是数据扎堆在某个key上；存在两种情况：能跑出来，但是比较慢；2、不能跑出来：OOM情况
在使用Hive、MapReduce、Spark进行离线处理时的注意事项：
1）、input
格式问题（存储）
2）、temp
计算要快
3）、output
输出格式问题
ETL过后的一张大宽表，不可能说所有的SQL都去查询这张大宽表；如果两张SQL表的语句类似，需要合理利用中间结果集，需要减轻读大宽表的性能；从语法层面：set xxx = yyy;
reduce个数设置 ==>决定了输出的文件个数，reduce个数越多会导致小文件很多，reduce个数少又会导致跑的比较慢；要自己进行权衡，结合数据量和公司资源的情况。