大数据面试题


1.列举spark 比hadoop 快的原 因 ,以及现在存在的主要问题

2.描述下使用spark streaming 和 GraphX实现实时计算的可行性,以及可能会遇到的问题

3.GraphX的Pregel API 只支持有向图遍历  ,如何实现无xiang 遍历,描述思路

4.SPark 通过yarn 提交任务时,yarn-client & yarn-cluster 的区别

5.Spark 什么时候需要切断lineage  ,如何实现,有什么设计模式

6.spark streaming 如何 保证数据不丢失,包括driver 和 worker

7.Kafka 如何保证数据不丢失

8.在系统单一模块出错的情况下 ,如何保证系统正常流转

9.雪花模型和星形模型各自的应用场景

10.数据仓库如何快速准确建立数据中间层

11使用过那些个BI工具

12常用列式存储有哪些,有什么优点

13spark api 的含义 以及使用场景
map
flatmap
reducebykey
attregatebykey
updatestatebykey

14Scala 中 call by name & call by value 的区别

你可能感兴趣的:(Hadoop,HBase,Spark,kafka,scala,DW)