面试小结(软通动力-驻平安数据开发)

面试小结(软通动力-驻平安数据开发)
主要考察知识面:Hadoop、Hive、MySQL
1.绘制一个项目框架
2.Hadoop组件
3.Hive动态分区
4.UDF使用过程(导包/classpath/自定义函数方法)
5.Hive数据倾斜的原因和方法
6.hive和传统数据库的区别(查询语言/数据格式/索引有无/执行/可扩展性/执行延迟/数据规模)
7.hive分区在hdfs中怎么体现
8. 案例题:40G的手机号,大小远大于内存,求出重复号码的Top10(大表拆若干小表;小表求重复号码的Top10,得到临时表; 小表合并,二次 计算排序,得到全表的top10)
9. 还有一些其他的,忘了。

你可能感兴趣的:(面试小结(软通动力-驻平安数据开发))