大数据知识点梳理

大数据知识点梳理-Hadoop生态之Hive

1.3.1*描述-下Hive动态分区和分桶使用场景和使用方法?1.分区按照数据表的某列或某些列分为多个分区，分区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定
Mr.WiG·2020-07-08 19:21

大数据知识点梳理-Hadoop生态之HDFS

1.1HDFS特别说明：“红色字体”标题均为高频面试题1.1.1*HDFS读写流程?1.1.2*简单说明下HDFS中，NameNode,DataNode的作用?1.1.3*SecondaryNameNode的作用?或者是NameNode的启动过程?1.1.4集群安全模式?什么情况下会进入到安全模式?安全模式的解决办法?1.1.5*为什么HDFS不适合存小文件?1.1.6*HDFS支持的存储格式和压
Mr.WiG·2020-07-08 19:21

大数据知识点梳理-Hadoop生态之MapReduce

1.2MapReduce特别说明：“红色字体”标题均为高频面试题1.2.1*MR的执行流程?1.2.2*MapReduce写过吗?有哪些关键类?mapper的方法有哪些?setup方法是干嘛的?它是每读取一行数据就调用一次这个方法吗?1.2.3有个需求，要求-条指令可以把所有文件都shuffle到同一partition中，用MapReduce的话，你怎么写?1.2.4*HadoopShuffle原
Mr.WiG·2020-07-08 19:21
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他